明道云的数据集成能力：实时同步MySQL至工作表

本篇以腾讯云的 MySQL 数据库为例，演示如何使用明道云的 数据集成能力 将 MySQL 数据库的数据 实时同步 到工作表

简要目录

1. 准备数据库（如果已有数据库可以跳过此部分）
2. 创建同步任务
   1. 创建数据源
   2. 创建同步任务
   3. 管理同步任务





1. 准备数据库

以腾讯云 MySQL 举例子，购买地址：https://cloud.tencent.com/product/cdb

• 计费模式：按量计费（可随时退还）
• 地域：默认即可
• 数据库版本：MySQL8.0
• 架构：单节点

整个创建过程中默认配置就好，安全组记得放通全部端口，不然无法连接。

1. 配置数据库

1.2 创建好数据库后，点击管理，第一件事儿先开启外网地址

1.3 配置账号

默认会有 root 账号，如果需要新建可以在这里创建新的账号

如果创建账号，需要添加这部分权限

1.4 创建数据库

点击 创建数据库 会跳转到腾讯云的 DMS(数据库管理)页面，在这里创建数据库、创建表，并填充数据

在左上角的数据库列表，切换到新建的库并创建表





2. 创建同步任务

2.1 创建数据源

在集成中心创建同步任务的前提是要先有一个可以连通的数据源，这就是刚刚在数据库侧开启外网访问的用处。

1. 进入 明道云数据集成页面 https://mingdao.com/integration/source
2. 左侧选择 数据集成-数据源，右上角 新建数据源-MySQL

3. 在这里将刚刚开启的外网访问地址，点击下方测试连接，测试通过后，右上角保存





2.2 创建同步任务

1. 选择常用链接器中的 MySQL 到 工作表

2. 选择数据源

3. 选择目的地表
   这里可以选择当前组织内并且自己有权限的任一工作表

4. 创建方式选择仅同步
   另外的一个选项“同步时需要对数据进行处理”，是包含了更多节点能力，比如数据筛选、多表连接等，创建完成后可以随时添加这些节点。

5. 选择数据来源表，这张表的数据会同步到工作表

6. 新建/选择数据目的表，这里选择用来接收数据的表
   • 新建：会在当前应用“目标数据”新建一张表，并且将数据同步到这张表中；
   • 选择已有：选择当前应用“目标数据”的任一张表，并且将数据同步到这张表中。

7. 配置好需要同步的字段，点击右上角创建同步任务
   主键列是必选，其他列可以自由选择





2.3 查看和管理同步任务-画布

创建成功后，可以在同步任务列表中看到已经创建好的同步任务，点击进入画布

1. 数据源节点

• 切换数据源：可以选择外部数据源或者工作表；

• 字段配置：自定义需要同步的字段，在这里也可以将字段重命名。





2. 配置

拥有者

添加为拥有者的人员，可以修改、更新、删除当前的同步任务

触发工作流

数据目的地是工作表的时候可以配置此项，当同步的数据有数据新增、更新、删除的时候，会触发相应的工作流

3. 监控

监控页面会显示当前同步任务的运行情况

• 实时：会显示累计运行时长、累计读取行数、累计写入行数
• 历史：显示数据读写曲线，最大显示最近 1 天
• 日志：用于记录当前同步任务的操作历史和异常信息