请教大神们，我这种数据分析的业务场景，最佳的处理方案是啥？ daawenLv.3修习 发布于 2021-12-26 18:27 最后回复 2022-01-05 14:34:02 分享 收藏 复制链接 新浪微博 微信扫一扫 分享 8 回复955 浏览 目前已有明道云私有部署版，可以将 API 给其他系统； 原有自研的数据大屏分析系统 A，可以接 MySQL 当数据源；需要将明道数据给其作为数据源进行分析； 有没有一种比较好的将明道的 API 转为 MySQL 数据的方法？最好是支持增量或全量更新； 另外原有业务系统 B，数据是 MySQL 的，需要将其中的某些记录的数据推送到明道的对应记录上更新某些字段，两者通过一个同样的 id 进行对照；定时更新。
参考下这篇文章 ODBC 数据源配置 https://bbs.mingdao.net/topic/1078
支持 odbc，但是怎么把明道里的数据推送到 odbc 里呢？
目前在使用 kettle，可以做到，感觉还是有点复杂了
大屏分享 系统 A 可以介入 MySQL 是否支持 ODBC 的数据源呢？ 如果支持就可以有
谢谢解答
kettel 应该可以，只是简单用过，没有太多经验，也不好说，我们自己做项目，都是用的公司的产品，做 ETL 处理，语言是 JS，所以，工具层面不太好推荐您，只能在数据处理过程方面探讨 一二。
将数据给到 MySQL，可以走明道的 API，也可以通过工作流的 webhook，前者是定时同步，后者是主动推送；前者可以做增量和全量，后者就是增量模式了，两者各有千秋，具体看你的业务场景。
kettle、阿里 datax、dataworks，有用过的同学吗？
有没有合适的 etl 工具可以做这些事情？
目前想到的比较好的办法是，通过另行编写 python 程序，单独部署，获取数据后存入，定时执行这些任务