目前如果使用数据集成中心将数据库的数据同步到明道云时,系统会要求配置很多权限及设置,考虑到这种要求是为了实现实时同步数据。
但是在不要求实时同步的场景下,那么还需要配置这么多权限就不太合理。
比如只需要定时同步数据的情况下,能否实现只需要正常的数据库连接即可?目前市面上常规的 etl 工具就是定时获取,并且不需要数据库额外的权限配置
请
登录后发表观点
包括很多厂家自己不同产品之间也是 1 分钟同步一次
对对对,这个问题就很头疼,这种局限性很多,很多 SaaS 平台厂家给你的数据库参数没那多权限配置,也不会开给你
用 ETL 免费或开源版发布 API,工作流获取或页面查询,用起来比数据集成爽多了!这个数据同步挺鸡肋。
潘伟宗 2023-10-12 17:40:12
- 间隔一般为两小时一次(定时请求的话,一般都是建议让用户自定义设置请求时间)
- 这个建议可以让用户自己选择需要同步的数据范围,比如我是通过 SQL 去请求,那么请求的数据范围就取决于我的 SQL
- 我这边 oms 发货明细全量的话基本都是千万级
👌 第二点很好,如果可以通过跑 SQL 去执行的话,就可以无需控制数据范围了,反而只是一个参数即可
潘伟宗 2023-10-12 16:12:14了解,但定时同步的场景还是很多客户会使用到的 😄 ,迫切希望加上这个能力
- 间隔一般为两小时一次(定时请求的话,一般都是建议让用户自定义设置请求时间)
- 这个建议可以让用户自己选择需要同步的数据范围,比如我是通过 SQL 去请求,那么请求的数据范围就取决于我的 SQL
- 我这边 oms 发货明细全量的话基本都是千万级
潘伟宗 2023-10-12 16:12:14了解,但定时同步的场景还是很多客户会使用到的 😄 ,迫切希望加上这个能力
好的,确实有客户已经提过定时同步需求了,只是定时还存在很多限制,比如定时同步的话,每次就会是全量了而非增量。您方便留下使用场景嘛
- 定时需求间隔大概多久,每周一次或者每天等等?
- 如果只支持全量同步是否可以满足,就是在固定的时间同步当前时间点之前的全部数据,覆盖到目的地数据
- 全量的数据量会有多少?
ian 💦 2023-10-12 16:04:02现在的产品只支持实时同步的,后续会考虑加入定时同步的能力。
对于 MySQL 来说实时同步需要开启的权限并不会很多,SELECT, SHOW DATABASES, REPLICATION SLAVE, REPLICATION CLIENT。目前仅需要这几个权限,也算是很小范围了。您划线的位置,是统一调整的,由数据库管理员调整配置即可,这个和 MySQL 的账号权限不是一起的。
了解,但定时同步的场景还是很多客户会使用到的 😄 ,迫切希望加上这个能力
现在的产品只支持实时同步的,后续会考虑加入定时同步的能力。
对于 MySQL 来说实时同步需要开启的权限并不会很多,SELECT, SHOW DATABASES, REPLICATION SLAVE, REPLICATION CLIENT。目前仅需要这几个权限,也算是很小范围了。
您划线的位置,是统一调整的,由数据库管理员调整配置即可,这个和 MySQL 的账号权限不是一起的。