目前我们往 MySQL 数据库里同步数据都是通过代码块中调用的 python 库实现的。如果数据量大的时候，每次同步都需要新建和关闭连接，给 MySQL 很大压力。想问一下在明道中有没有 Connection pooling 的方式去实现 MySQL 的数据同步？大佬们帮忙给点思路和建议，谢谢！
Connection pooling的实现方法
15 / 686
有2人点赞 有2人点赞
请
登录后发表观点
这个您稍等个一段时间。我们的数据同步产品计划并不是仅仅为了数据同步本身而设计的。最终我们会把数据直连和数据转换等能力都加入进去。这样你会感受到更大的产品价值。
不过，你说的拆零定价我们的确会考虑。只是数据集成模块目前还没有到这个成熟度。
任总，先搞个临时方案里救救急
开放任务数，其实就可以搞 ETL 了
大家都有想法的
其实有钱可以入手 ETLcloud
但是呢，让我去搞 ETL，不干的！
哎，that's not my business！
这个您稍等个一段时间。我们的数据同步产品计划并不是仅仅为了数据同步本身而设计的。最终我们会把数据直连和数据转换等能力都加入进去。这样你会感受到更大的产品价值。
不过，你说的拆零定价我们的确会考虑。只是数据集成模块目前还没有到这个成熟度。
目前我们数据同步的需求用 PBP 来实现其实还是比较便捷的（只需要把字段映射弄好，每次也就花不到十分钟就可以配置好），并且很灵活因为可以在工作流中做各种转换如果需要。这种方式的问题在于，当我的 MySQL 连接数太多的时候，可能会把 MySQL 搞挂掉，这时只能中断生产。目前这种情况出现过两次，每次出现都要花 2-3 个小时进行处理（各种沟通协调、重启服务器、手动重试那些报错的 PBP 等）。
所以，对我们来说，数据集成模块的价值并不是说允许我们做一些现在不能做的，也不是提升了多少便捷性/灵活性，而是稳定性。但是为了每个月 2-3 个小时的异常处理要花近 3000 块钱（35000/12），我个人觉得不是很划算。:)
目前是 1-2 百万条记录每月。
目前要同步的表已经有 20+ 了（以后可能还会增加），所以免费的只有 5 个除非增加到 20 个以上对我们才有意义 - 这个有可能吗？:)
如果不可能，能不能提供一个更便宜但更少任务数的方案 - 目前的起步付费方案给到 50 个任务我们用不到这么多。
我感觉私有部署更合适的方式是按模块（而不是用量）定价？毕竟用的是我们自己的算力。
这个您稍等个一段时间。我们的数据同步产品计划并不是仅仅为了数据同步本身而设计的。最终我们会把数据直连和数据转换等能力都加入进去。这样你会感受到更大的产品价值。
不过，你说的拆零定价我们的确会考虑。只是数据集成模块目前还没有到这个成熟度。
同步任务的付费起步价太高，我算了下。免费版 5 个任务，若我只需要 20 个同步任务，只能买 50 个同步任务版本，买断价格十几万。换个思路，我们用这十几万买服务器，安装免费的虚拟化，部署 4 个免费的私有化，4 个免费私有化之间的数据 API 互通，4x5=20 个同步任务。相比购买 50 个同步的授权，我得到了我想要的 20 个表的同步，得到了 1 个物理服务器，付出的代价就是麻烦啊麻烦。
所以。之前那位说的按模块或者同步任务按数量接替购买好些。比如几千块/5 个之类。
收到。
这个问题目前还没有做出决定。你是希望免费版就包含更多的同步任务，还是希望在付费方案中纳入更大量的任务？目前你所需要的同步任务数是什么级别？
同步任务的付费起步价太高，我算了下。免费版 5 个任务，若我只需要 20 个同步任务，只能买 50 个同步任务版本，买断价格十几万。换个思路，我们用这十几万买服务器，安装免费的虚拟化，部署 4 个免费的私有化，4 个免费私有化之间的数据 API 互通，4x5=20 个同步任务。相比购买 50 个同步的授权，我得到了我想要的 20 个表的同步，得到了 1 个物理服务器，付出的代价就是麻烦啊麻烦。
所以。之前那位说的按模块或者同步任务按数量接替购买好些。比如几千块/5 个之类。
这个问题目前还没有做出决定。你是希望免费版就包含更多的同步任务，还是希望在付费方案中纳入更大量的任务？目前你所需要的同步任务数是什么级别？
目前是 1-2 百万条记录每月。
目前要同步的表已经有 20+ 了（以后可能还会增加），所以免费的只有 5 个除非增加到 20 个以上对我们才有意义 - 这个有可能吗？:)
如果不可能，能不能提供一个更便宜但更少任务数的方案 - 目前的起步付费方案给到 50 个任务我们用不到这么多。
我感觉私有部署更合适的方式是按模块（而不是用量）定价？毕竟用的是我们自己的算力。
请问下，这个研究的怎么样了？期待明道云可以针对这个模块给出一个更合理的定价方式
这个问题目前还没有做出决定。你是希望免费版就包含更多的同步任务，还是希望在付费方案中纳入更大量的任务？目前你所需要的同步任务数是什么级别？
私有部署版本理论上使用的都是客户自己的算力。不过，有关数据同步模块的定价，我们会做进一步的研究。
请问下，这个研究的怎么样了？期待明道云可以针对这个模块给出一个更合理的定价方式
私有版，也只提供 5 个任务，能否开放，因为我们算力是自己服务器的
私有部署版本理论上使用的都是客户自己的算力。不过，有关数据同步模块的定价，我们会做进一步的研究。
你用的是 SaaS？超出预算指的是版本提供的免费限量远远不够？
能够介绍下你要实现的数据同步性质吗？
私有版，也只提供 5 个任务，能否开放，因为我们算力是自己服务器的
你用的是 SaaS？超出预算指的是版本提供的免费限量远远不够？
能够介绍下你要实现的数据同步性质吗？
我们用的是私有部署（我们每个月目前消耗一千万左右的工作流 - 我们之前用的 SaaS，但发现工作流不够用，所以改的私有部署）。
数据同步任务免费额度只有 5 个，我们需要的比这个要多，目前我们有 20 个左右的基于 PBP/代码块/python 的同步任务，以后很可能还会增加。
我们之所以要做数据同步，是因为明道本身的报表不能满足我们的需求，其他和明道有对接的 BI 产品的价格也不低。我们用的是免费开源的 Metabase，但是它有两个不足：1）mongo 的数据处理有很多限制；2）不能够对数据做 ETL。所以，我们只能把明道的数据用 PBP/代码块/python 的方式同步到 MySQL。
了解过了，超出预算，能否用其他功能实现？
你用的是 SaaS？超出预算指的是版本提供的免费限量远远不够？
能够介绍下你要实现的数据同步性质吗？
明道的数据集成可以了解下 https://blog.mingdao.com/26357.html
了解过了，超出预算，能否用其他功能实现？
明道的数据集成可以了解下 https://blog.mingdao.com/26357.html