流水理鱼

流水理鱼(wwek)的博客

  • 首页
  • 所有
  • 留言
  • 关于

关注公众号-加技术群

公众号领域

* 全栈
* 云原生
* 团队管理

微信公众号:流水理鱼(liushuiliyu)

公众号: liushuiliyu 流水理鱼

点击添加我的个人微信,加入技术讨论群

近期文章

  • DolphinScheduler 调度 DataX 实现 MySQL To MySQL 增量数据同步实战
  • DolphinScheduler 调度 DataX 实现 MySQL To MySQL 增量数据同步实践
  • DolphinScheduler 调度 DataX 实现 MySQL To ElasticSearch 增量数据同步实践
  • MySQL数据同步到ElasticSearch(es)方案选型大全
  • 使用微创联合M5S空气检测仪 树莓派3b+ prometheus grafana实现空气质量持续监控WEB可视化

标签: mysql

mysql

DolphinScheduler 调度 DataX 实现 MySQL To MySQL 增量数据同步实战

2022-03-03 by wwek·0评论

背景

MySQL库A 到 MySQL库B的增量数据同步需求

DolphinScheduler中配置DataX MySQL To MySQL工作流

工作流定义

工作流定义 > 创建工作流 > 拖入1个SHELL组件 > 拖入1个DATAX组件
SHELL组件(文章)
脚本

echo '文章同步[......]

继续阅读

DolphinScheduler 调度 DataX 实现 MySQL To ElasticSearch 增量数据同步实践

2022-03-02 by wwek·0评论

数据同步的方式

数据同步的2大方式

  • 基于SQL查询的 CDC(Change Data Capture):
    • 离线调度查询作业,批处理。把一张表同步到其他系统,每次通过查询去获取表中最新的数据。也就是我们说的基于SQL查询抽取;
    • 无法保障数据一致性,查的过程中有可能数据已经发生了多次变更;[……]

      继续阅读

MySQL数据同步到ElasticSearch(es)方案选型大全

2021-05-30 by wwek·3条评论

[TOC]

0、前言

image-20210606160820147

为什么使用Elasticsearch (以下简称 ES ) ?

全文搜索能力

ES本身就是一个搜索引擎,技术上基于倒排索引实现的搜索系统。我们做业务不必自己去开发一个搜索引擎,

ES已经满足绝大多数企业的搜索场景的需求。拼多多电商在发展前期,搜索业务使用ES支撑。[……]

继续阅读

tcpdump抓包常用笔记

2016-05-05 by wwek·0评论

查看HTTP GET请求

sudo tcpdump -s 0 -A 'tcp dst port 80 and tcp[((tcp[12:1] & 0xf0) >> 2):4] = 0x47455420'

查看HTTP POST请求

sudo tcpdump -s 0 -A[......]

继续阅读

mysql中database库和tables表中字符集 utf8 和utf8mb4 有什么区别?

2015-12-04 by wwek·2条评论

mysql中databases库和tables表中字符集 utf8 和utf8mb4 有什么区别?

可以简单的理解 utf8mb4 是目前最大的一个字符编码,支持任意文字.

那么utf8mb4比utf8多了什么的呢?
多了emoji编码支持.
如果实际用途上来看,可以给要用到emoji的库或者说[……]

继续阅读

Centos使用MySQL工具Percona Toolkit

2015-09-19 by wwek·3条评论

Centos使用MySQL工具Percona Toolkit

安装Percona Toolkit 的Repo 得以支持直接用yum 安装二进制包

yum install -y https://www.percona.com/redir/downloads/percona-release/redh[......]

继续阅读

文章导航

1 2 … 4
由WordPress自豪地提供. 世界时间. 天气预报查询. 主题:Flat 1.7.11 by Themeisle | 苏ICP备17011285号-1