流水理鱼

流水理鱼(wwek)的博客

  • 首页
  • 所有
  • 留言
  • 关于

关注公众号-加技术群

公众号领域

* 全栈
* 云原生
* 团队管理

微信公众号:流水理鱼(liushuiliyu)

公众号: liushuiliyu 流水理鱼

点击添加我的个人微信,加入技术讨论群

近期文章

  • CloudCanal在表重构中的应用MySQL三表合一准实时同步
  • 2022年了基于 Apache Doris 的数据仓库平台架构设计(力荐给中小公司)
  • 阿里云ADB(MySQL)迁移Apache Doris或StarRocks SQL查询兼容性处理
  • 使用N8N工作流自动化解决三方API数据对接
  • 基于FreeSWITCH自建呼叫中心中台.pdf

分类: 程序架构

CloudCanal在表重构中的应用MySQL三表合一准实时同步

2023-03-16 by wwek·0评论

1. 需求

业务上对业务表就行重构,重新设计了新表,需要原有的数据准实时同步到新表(目标表)

字段类型和数据值等做了修改需要处理映射

例如

1是,2否需要映射为 1是,0否

varchar存储的时间转换为datetime

int存储的时间戳要转换为datetime

新表设计了新状态码,[……]

继续阅读

2022年了基于 Apache Doris 的数据仓库平台架构设计(力荐给中小公司)

2022-11-11 by wwek·0评论

1. 数据平台数仓平台架构设计大图

1.1 基于Apache Doris(以下简称Doris)的实时数仓架构大图

基于Apache Doris的实时数仓架构图 流水理鱼 wwek

1.1 架构图说明

数据源
主要是业务数据库MySQL,当然也可以是其他的关系型数据库

数据集成和处理
实时,原封不动同步的数据使用CloudCanal;需要复杂的数据加工处[……]

继续阅读

阿里云ADB(MySQL)迁移Apache Doris或StarRocks SQL查询兼容性处理

2022-11-11 by wwek·0评论

1. 问题和解决办法

1.1 SELECT 字段中的非聚合函数包裹的字段,必须在 GROUP BY中申明

# SQLSTATE[HY000]: General error: 1064 '`u`.`name`' must be an aggregate expression or appear i[......]

继续阅读

基于FreeSWITCH自建呼叫中心中台.pdf

2022-07-11 by wwek·0评论

基于FreeSWITCH自建呼叫中心中台 流水理鱼|wwek PPT分享

目录导航

  • 业务需求背景情况 – 业务需求、背景情况
  • 业务系统如何外呼 – 点呼、群呼、AI
  • 呼叫中心通话链路 – 通话序列图、呼叫线路、SIP协议介绍
  • 呼叫中心中台架构 – 呼叫中心中台架构设计(基础版)
  • FreeSWI[……]

    继续阅读

MySQL数据同步到ElasticSearch(es)方案选型大全

2021-05-30 by wwek·3条评论

[TOC]

0、前言

image-20210606160820147

为什么使用Elasticsearch (以下简称 ES ) ?

全文搜索能力

ES本身就是一个搜索引擎,技术上基于倒排索引实现的搜索系统。我们做业务不必自己去开发一个搜索引擎,

ES已经满足绝大多数企业的搜索场景的需求。拼多多电商在发展前期,搜索业务使用ES支撑。[……]

继续阅读

号码隐私保护技术方案全介绍

2020-05-23 by wwek·0评论

0. 前言
关键字

号码隐私保护

虚拟号码保护

号码保护

手机小号

虚拟号码

隐私号码

定义

A、B一般代表用户真实号码

X一般代表PASS平台中的小号,通常和A进行绑定(也叫中间号[……]

继续阅读

文章导航

1 2 … 15
由WordPress自豪地提供. 世界时间. 天气预报查询. 主题:Flat 1.7.11 by Themeisle | 苏ICP备17011285号-1