【大数据架构之旅】5 黄金搭档 Dagster 与 DBT
在上一讲中,我们实战了一把 dagster,了解了各类技术概念,这一次我们来了解一下 dagster 的黄金搭档 DBT,来看下如何组织一个很规范的数据仓库项目。
该标签下的全部文章。
在上一讲中,我们实战了一把 dagster,了解了各类技术概念,这一次我们来了解一下 dagster 的黄金搭档 DBT,来看下如何组织一个很规范的数据仓库项目。
在上一讲中,我们介绍了 dagster 的基本概念和特点,这一次我们就要真正开始学习如何使用 dagster 来组织我们的 etl 项目,从项目搭建到代码解析,再到数据持久化,完整的实践指南。
Dagster 作为新一代的调度引擎,可以覆盖整个数据开发的全部流程。阅读完本文,你会知道 Dagster 究竟是啥,为什么是新一代,和以前的调度有什么不同,以及核心概念和特点。
dbt 可谓是最近在大数据领域风头最盛的仔之一,主要解决的是 ELT 中 T(ransform) 这个环节的问题,最大的优势就是将软件工程的精髓带入到了数据处理和分析中。
CDC 即 Change Data Capture,是一种用以掌控数据变化的软件架构。本文深入理解 CDC 的概念、实现方法以及批处理与 CDC 的对比,并详解 Oracle CDC 的机制与实现。
从 CDC 到 dbt 和 Dagster,深入理解现代大数据架构的核心组件与最佳实践。本系列涵盖数据变更捕获、数据转换与调度等关键技术,帮助构建可维护、可扩展的数据工程体系。