1. 数据平台数仓平台架构设计大图
1.1 基于Apache Doris(以下简称Doris)的实时数仓架构大图
1.1 架构图说明
数据源
主要是业务数据库MySQL,当然也可以是其他的关系型数据库
数据集成和处理
实时,原封不动同步的数据使用CloudCanal;需要复杂的数据加工处[……]
数据源
主要是业务数据库MySQL,当然也可以是其他的关系型数据库
数据集成和处理
实时,原封不动同步的数据使用CloudCanal;需要复杂的数据加工处[……]
MySQL库A 到 MySQL库B的增量数据同步需求
工作流定义 > 创建工作流 > 拖入1个SHELL组件 > 拖入1个DATAX组件
SHELL组件(文章)
脚本
echo '文章同步[......]
MySQL库A 到 MySQL库B的增量数据同步需求
工作流定义 > 创建工作流 > 拖入1个SHELL组件 > 拖入1个DATAX组件
SHELL组件(文章)
脚本
echo '文章同步[......]