数据源
主要是业务数据库MySQL，当然也可以是其他的关系型数据库
数据集成和处理
实时，原封不动同步的数据使用CloudCanal；需要复杂的数据加工处理，使用Flink SQL ,并用Dinky FlinkSQL Studio 实时计算平台来开发、管理、运行Flink SQL
离线，使用DataX、SeaTunel，并用海豚调度（DolphinScheduler）编排任务调度进行数据集成和处理
数据仓库
主体是使用Doris作为数据仓库
ES、[……]
# SQLSTATE[HY000]: General error: 1064 '`u`.`name`' must be an aggregate expression or appear in GROUP BY clause
这个问题会是遇到最多的问题（实际上在大数据场景，例如hive中也有这个要求的）
因为ADB（MySQL）引擎是MySQL所以对这个没要求，导致迁移到Doris的时候这个问题最为突出
时间处理函数、字符串处理函数这种是非聚合函数，所以也是需要在GROUP BY中[……]
n8n是免费的基于节点的工作流自动化工具，可以轻松实现跨不同服务的任务自动化。它可以自托管，易于扩展，因此也可以与内部工具一起使用。
参见n8n官方文档^[1]，推荐docker安装
在商业推广中往往有一些API对接的需求，细分下来有这几类
* ① 通用广告投放平台 如果是广点通、巨量引擎、橙子建站线索API对接等
* ② 我方开放API
* ③ 三方API对接
市场推广活动会产生三方API对接的需求。
这样的需求去基于代码开发的方式对接，对于开发者来说价值不高，使用N[……]
基于FreeSWITCH自建呼叫中心中台 流水理鱼|wwek PPT分享
MySQL库A 到 MySQL库B的增量数据同步需求
工作流定义 > 创建工作流 > 拖入1个SHELL组件 > 拖入1个DATAX组件
SHELL组件(文章)
脚本
echo '文章同步 MySQL To MySQL'
DATAX组件(t_article)
用到2个插件mysqlreader^[1]、mysqlwriter^[2]
选 自定义模板：
{
"job": {
"content": [
{[......]
MySQL库A 到 MySQL库B的增量数据同步需求
工作流定义 > 创建工作流 > 拖入1个SHELL组件 > 拖入1个DATAX组件
SHELL组件(文章)
脚本
echo '文章同步 MySQL To MySQL'
DATAX组件(t_article)
用到2个插件mysqlreader^[1]、mysqlwriter^[2]
选 自定义模板：
{
"job": {
"content": [
{[......]