by ·0评论

title: 使用N8N工作流自动化解决三方API数据对接

0、n8n是什么？

n8n 是免费的基于节点的工作流自动化工具，可以轻松实现跨不同服务的任务自动化。它可以自托管，易于扩展，因此也可以与内部工具一起使用。

1、安装

参见n8n官方文档^[1]，推荐docker安装

2、需求案例

在商业推广中往往有一些API对接的需求，细分下来有这几类
* ① 通用广告投放平台 如果是广点通、巨量引擎、橙子建站线索API对接等
* ② 我方开放API
* ③ 三方API对接
市场推广活动会产生三方API对接的需求。
这样的需求去基于代码开发的方式对接，对于开发者来说价值不高，使用N[……]

继续阅读

by ·0评论

基于FreeSWITCH自建呼叫中心中台 流水理鱼|wwek PPT分享

目录导航

  • 业务需求背景情况 – 业务需求、背景情况
  • 业务系统如何外呼 – 点呼、群呼、AI
  • 呼叫中心通话链路 – 通话序列图、呼叫线路、SIP协议介绍
  • 呼叫中心中台架构 – 呼叫中心中台架构设计（基础版）
  • FreeSWITCH-介绍 – FreeSWITCH电话软交换
  • FreeSWITCH-拨通第一个电话 – SIP Hello World
  • FreeSWITCH-集成 – FreeSWITCH系统集成设计和实现
  • FreeSWITCH-中台API封装 – 把FreeSWITCH的能力封装为中台API

业务需求背景[……]

继续阅读

by ·0评论

背景

MySQL库A 到 MySQL库B的增量数据同步需求

DolphinScheduler中配置DataX MySQL To MySQL工作流

工作流定义

工作流定义 > 创建工作流 > 拖入1个SHELL组件 > 拖入1个DATAX组件
SHELL组件(文章)
脚本

echo '文章同步 MySQL To MySQL'

DATAX组件(t_article)
用到2个插件mysqlreader^[1]、mysqlwriter^[2]
选 自定义模板：

{
    "job": {
        "content": [
            {[......]
继续阅读

by ·0评论

背景

MySQL库A 到 MySQL库B的增量数据同步需求

DolphinScheduler中配置DataX MySQL To MySQL工作流

工作流定义

工作流定义 > 创建工作流 > 拖入1个SHELL组件 > 拖入1个DATAX组件
SHELL组件(文章)
脚本

echo '文章同步 MySQL To MySQL'

DATAX组件(t_article)
用到2个插件mysqlreader^[1]、mysqlwriter^[2]
选 自定义模板：

{
    "job": {
        "content": [
            {[......]
继续阅读

by ·0评论

数据同步的方式

数据同步的2大方式

  • 基于SQL查询的 CDC(Change Data Capture)：
    • 离线调度查询作业，批处理。把一张表同步到其他系统，每次通过查询去获取表中最新的数据。也就是我们说的基于SQL查询抽取；
    • 无法保障数据一致性，查的过程中有可能数据已经发生了多次变更；
    • 不保障实时性，基于离线调度存在天然的延迟;
    • 工具软件以Kettle（Apache Hop最新版）、DataX为代表,需要结合任务调度系统使用。
  • 基于日志的 CDC：
    • 实时消费日志，流处理，例如 MySQL 的 binlog 日志完整记录了数据库中的变更，可以把 binlog 文件当作流的数据[……]

      继续阅读

by ·3条评论

[TOC]

0、前言

image-20210606160820147

为什么使用Elasticsearch (以下简称 ES ) ？

全文搜索能力

ES本身就是一个搜索引擎，技术上基于倒排索引实现的搜索系统。我们做业务不必自己去开发一个搜索引擎，

ES已经满足绝大多数企业的搜索场景的需求。拼多多电商在发展前期，搜索业务使用ES支撑。

复杂查询（多维度组合筛选）

假如某个实体表，例如订单日订单量几十万，运营管理后台通常有十多个维度的组合筛选搜索。你可能会通过缩小查询时间范围来把数据量级降下来，MySQL也许也能一战，但是实际业务场景业务人员不太能接受这样一个小时间段筛选。如果稍微扩大时间段，MySQL这时候就无能为力了。那么[……]

继续阅读