明道云的数据集成能力:实时同步MySQL至工作表

集成 明道云集成  收藏
3 / 1602

本篇以腾讯云的 MySQL 数据库为例,演示如何使用明道云的 数据集成能力 将 MySQL 数据库的数据 实时同步 到工作表

简要目录

  1. 准备数据库(如果已有数据库可以跳过此部分)
  2. 创建同步任务
    1. 创建数据源
    2. 创建同步任务
    3. 管理同步任务





1. 准备数据库

以腾讯云 MySQL 举例子,购买地址:https://cloud.tencent.com/product/cdb

  • 计费模式:按量计费(可随时退还)
  • 地域:默认即可
  • 数据库版本:MySQL8.0
  • 架构:单节点

整个创建过程中默认配置就好,安全组记得放通全部端口,不然无法连接。

Image 1 Image 2

1. 配置数据库

1.2 创建好数据库后,点击管理,第一件事儿先开启外网地址


1.3 配置账号

默认会有 root 账号,如果需要新建可以在这里创建新的账号

如果创建账号,需要添加这部分权限

1.4 创建数据库

点击 创建数据库 会跳转到腾讯云的 DMS(数据库管理)页面,在这里创建数据库、创建表,并填充数据

在左上角的数据库列表,切换到新建的库并创建表





2. 创建同步任务

2.1 创建数据源

在集成中心创建同步任务的前提是要先有一个可以连通的数据源,这就是刚刚在数据库侧开启外网访问的用处。

  1. 进入 明道云数据集成页面 https://mingdao.com/integration/source
  2. 左侧选择 数据集成-数据源,右上角 新建数据源-MySQL

  1. 在这里将刚刚开启的外网访问地址,点击下方测试连接,测试通过后,右上角保存





2.2 创建同步任务

  1. 选择常用链接器中的 MySQL 到 工作表

  1. 选择数据源

  1. 选择目的地表
    这里可以选择当前组织内并且自己有权限的任一工作表

  1. 创建方式选择仅同步
    另外的一个选项“同步时需要对数据进行处理”,是包含了更多节点能力,比如数据筛选、多表连接等,创建完成后可以随时添加这些节点。

  1. 选择数据来源表,这张表的数据会同步到工作表

  1. 新建/选择数据目的表,这里选择用来接收数据的表
    • 新建:会在当前应用“目标数据”新建一张表,并且将数据同步到这张表中;
    • 选择已有:选择当前应用“目标数据”的任一张表,并且将数据同步到这张表中。

  1. 配置好需要同步的字段,点击右上角创建同步任务
    主键列是必选,其他列可以自由选择





2.3 查看和管理同步任务-画布

创建成功后,可以在同步任务列表中看到已经创建好的同步任务,点击进入画布

1. 数据源节点

  • 切换数据源:可以选择外部数据源或者工作表;

  • 字段配置:自定义需要同步的字段,在这里也可以将字段重命名





2. 配置

拥有者

添加为拥有者的人员,可以修改、更新、删除当前的同步任务

触发工作流

数据目的地是工作表的时候可以配置此项,当同步的数据有数据新增、更新、删除的时候,会触发相应的工作流

3. 监控

监控页面会显示当前同步任务的运行情况

  • 实时:会显示累计运行时长、累计读取行数、累计写入行数
  • 历史:显示数据读写曲线,最大显示最近 1 天
  • 日志:用于记录当前同步任务的操作历史和异常信息
    截屏 2023-12-06-12.33.07.png