背景
MySQL库A 到 MySQL库B的增量数据同步需求
DolphinScheduler中配置DataX MySQL To MySQL工作流
工作流定义
工作流定义 > 创建工作流 > 拖入1个SHELL组件 > 拖入1个DATAX组件
SHELL组件(文章)
脚本
echo '文章同步[......]标签： mysql
mysql
DolphinScheduler 调度 DataX 实现 MySQL To ElasticSearch 增量数据同步实践
数据同步的方式
数据同步的2大方式
- 基于SQL查询的 CDC(Change Data Capture)：
- 离线调度查询作业，批处理。把一张表同步到其他系统，每次通过查询去获取表中最新的数据。也就是我们说的基于SQL查询抽取；
- 无法保障数据一致性，查的过程中有可能数据已经发生了多次变更；[……]
MySQL数据同步到ElasticSearch（es）方案选型大全
[TOC]
0、前言
为什么使用Elasticsearch (以下简称 ES ) ？
全文搜索能力
ES本身就是一个搜索引擎，技术上基于倒排索引实现的搜索系统。我们做业务不必自己去开发一个搜索引擎，
ES已经满足绝大多数企业的搜索场景的需求。拼多多电商在发展前期，搜索业务使用ES支撑。[……]
tcpdump抓包常用笔记
查看HTTP GET请求
sudo tcpdump -s 0 -A 'tcp dst port 80 and tcp[((tcp[12:1] & 0xf0) >> 2):4] = 0x47455420'
查看HTTP POST请求
sudo tcpdump -s 0 -A[......]mysql中database库和tables表中字符集 utf8 和utf8mb4 有什么区别?
mysql中databases库和tables表中字符集 utf8 和utf8mb4 有什么区别?
可以简单的理解 utf8mb4 是目前最大的一个字符编码,支持任意文字.
那么utf8mb4比utf8多了什么的呢?
多了emoji编码支持.
如果实际用途上来看,可以给要用到emoji的库或者说[……]
Centos使用MySQL工具Percona Toolkit
Centos使用MySQL工具Percona Toolkit
安装Percona Toolkit 的Repo 得以支持直接用yum 安装二进制包
yum install -y https://www.percona.com/redir/downloads/percona-release/redh[......]