1. 数据平台数仓平台架构设计大图
1.1 基于Apache Doris（以下简称Doris）的实时数仓架构大图
1.1 架构图说明
数据源
主要是业务数据库MySQL，当然也可以是其他的关系型数据库
数据集成和处理
实时，原封不动同步的数据使用CloudCanal；需要复杂的数据加工处[……]
标签： DataX
DolphinScheduler 调度 DataX 实现 MySQL To MySQL 增量数据同步实战
背景
MySQL库A 到 MySQL库B的增量数据同步需求
DolphinScheduler中配置DataX MySQL To MySQL工作流
工作流定义
工作流定义 > 创建工作流 > 拖入1个SHELL组件 > 拖入1个DATAX组件
SHELL组件(文章)
脚本
echo '文章同步[......]DolphinScheduler 调度 DataX 实现 MySQL To MySQL 增量数据同步实践
背景
MySQL库A 到 MySQL库B的增量数据同步需求
DolphinScheduler中配置DataX MySQL To MySQL工作流
工作流定义
工作流定义 > 创建工作流 > 拖入1个SHELL组件 > 拖入1个DATAX组件
SHELL组件(文章)
脚本
echo '文章同步[......]DolphinScheduler 调度 DataX 实现 MySQL To ElasticSearch 增量数据同步实践
数据同步的方式
数据同步的2大方式
- 基于SQL查询的 CDC(Change Data Capture)：
- 离线调度查询作业，批处理。把一张表同步到其他系统，每次通过查询去获取表中最新的数据。也就是我们说的基于SQL查询抽取；
- 无法保障数据一致性，查的过程中有可能数据已经发生了多次变更；[……]