1. 需求
业务上对业务表就行重构,重新设计了新表,需要原有的数据准实时同步到新表(目标表)
字段类型和数据值等做了修改需要处理映射
例如
1是,2否需要映射为 1是,0否
varchar存储的时间转换为datetime
int存储的时间戳要转换为datetime
新表设计了新状态码,[……]
业务上对业务表就行重构,重新设计了新表,需要原有的数据准实时同步到新表(目标表)
字段类型和数据值等做了修改需要处理映射
例如
1是,2否需要映射为 1是,0否
varchar存储的时间转换为datetime
int存储的时间戳要转换为datetime
新表设计了新状态码,[……]
数据源
主要是业务数据库MySQL,当然也可以是其他的关系型数据库
数据集成和处理
实时,原封不动同步的数据使用CloudCanal;需要复杂的数据加工处[……]
# SQLSTATE[HY000]: General error: 1064 '`u`.`name`' must be an aggregate expression or appear i[......]
n8n
是免费的基于节点的工作流自动化工具,可以轻松实现跨不同服务的任务自动化。它可以自托管,易于扩展,因此也可以与内部工具一起使用。
参见n8n官方文档^[1],推荐docker安装
MySQL库A 到 MySQL库B的增量数据同步需求
工作流定义 > 创建工作流 > 拖入1个SHELL组件 > 拖入1个DATAX组件
SHELL组件(文章)
脚本
echo '文章同步[......]