流水理鱼

流水理鱼(wwek)的博客

  • 首页
  • 所有
  • 留言
  • 关于

关注公众号-加技术群

公众号领域

* 全栈
* 云原生
* 团队管理

微信公众号:流水理鱼(liushuiliyu)

公众号: liushuiliyu 流水理鱼

点击添加我的个人微信,加入技术讨论群

近期文章

  • 2022年了基于 Apache Doris 的数据仓库平台架构设计(力荐给中小公司)
  • 阿里云ADB(MySQL)迁移Apache Doris或StarRocks SQL查询兼容性处理
  • 使用N8N工作流自动化解决三方API数据对接
  • 基于FreeSWITCH自建呼叫中心中台.pdf
  • DolphinScheduler 调度 DataX 实现 MySQL To MySQL 增量数据同步实战

标签: DataX

2022年了基于 Apache Doris 的数据仓库平台架构设计(力荐给中小公司)

2022-11-11 by wwek·0评论

1. 数据平台数仓平台架构设计大图

1.1 基于Apache Doris(以下简称Doris)的实时数仓架构大图

基于Apache Doris的实时数仓架构图 流水理鱼 wwek

1.1 架构图说明

数据源
主要是业务数据库MySQL,当然也可以是其他的关系型数据库

数据集成和处理
实时,原封不动同步的数据使用CloudCanal;需要复杂的数据加工处[……]

继续阅读

DolphinScheduler 调度 DataX 实现 MySQL To MySQL 增量数据同步实战

2022-03-03 by wwek·0评论

背景

MySQL库A 到 MySQL库B的增量数据同步需求

DolphinScheduler中配置DataX MySQL To MySQL工作流

工作流定义

工作流定义 > 创建工作流 > 拖入1个SHELL组件 > 拖入1个DATAX组件
SHELL组件(文章)
脚本

echo '文章同步[......]

继续阅读

DolphinScheduler 调度 DataX 实现 MySQL To MySQL 增量数据同步实践

2022-03-02 by wwek·0评论

背景

MySQL库A 到 MySQL库B的增量数据同步需求

DolphinScheduler中配置DataX MySQL To MySQL工作流

工作流定义

工作流定义 > 创建工作流 > 拖入1个SHELL组件 > 拖入1个DATAX组件
SHELL组件(文章)
脚本

echo '文章同步[......]

继续阅读

DolphinScheduler 调度 DataX 实现 MySQL To ElasticSearch 增量数据同步实践

2022-03-02 by wwek·0评论

数据同步的方式

数据同步的2大方式

  • 基于SQL查询的 CDC(Change Data Capture):
    • 离线调度查询作业,批处理。把一张表同步到其他系统,每次通过查询去获取表中最新的数据。也就是我们说的基于SQL查询抽取;
    • 无法保障数据一致性,查的过程中有可能数据已经发生了多次变更;[……]

      继续阅读

由WordPress自豪地提供. 世界时间. 天气预报查询. 主题:Flat 1.7.11 by Themeisle | 苏ICP备17011285号-1