Connection pooling的实现方法 徐衡Lv.4悟道 发布于 2023-05-29 20:38 最后回复 2023-07-01 13:11:47 问答 数据库 收藏 复制链接 新浪微博 微信扫一扫 分享 15 回复1431 浏览 目前我们往 MySQL 数据库里同步数据都是通过代码块中调用的 python 库实现的。如果数据量大的时候，每次同步都需要新建和关闭连接，给 MySQL 很大压力。想问一下在明道中有没有 Connection pooling 的方式去实现 MySQL 的数据同步？大佬们帮忙给点思路和建议，谢谢！ 目前我们往 MySQL 数据库里同步数据都是通过代码块中调用的 python 库实现的。如果数据量大的时候，每次同步都需要新建和关闭连接，给 MySQL 很大压力。想问一下在明道中有没有 Connection pooling 的方式去实现 MySQL 的数据同步？大佬们帮忙给点思路和建议，谢谢！
有2人点赞
任总，先搞个临时方案里救救急
开放任务数，其实就可以搞 ETL 了
大家都有想法的
其实有钱可以入手 ETLcloud
但是呢，让我去搞 ETL，不干的！
哎，that's not my business！
目前我们数据同步的需求用 PBP 来实现其实还是比较便捷的（只需要把字段映射弄好，每次也就花不到十分钟就可以配置好），并且很灵活因为可以在工作流中做各种转换如果需要。这种方式的问题在于，当我的 MySQL 连接数太多的时候，可能会把 MySQL 搞挂掉，这时只能中断生产。目前这种情况出现过两次，每次出现都要花 2-3 个小时进行处理（各种沟通协调、重启服务器、手动重试那些报错的 PBP 等）。
所以，对我们来说，数据集成模块的价值并不是说允许我们做一些现在不能做的，也不是提升了多少便捷性/灵活性，而是稳定性。但是为了每个月 2-3 个小时的异常处理要花近 3000 块钱（35000/12），我个人觉得不是很划算。:)
这个您稍等个一段时间。我们的数据同步产品计划并不是仅仅为了数据同步本身而设计的。最终我们会把数据直连和数据转换等能力都加入进去。这样你会感受到更大的产品价值。
不过，你说的拆零定价我们的确会考虑。只是数据集成模块目前还没有到这个成熟度。
收到。
同步任务的付费起步价太高，我算了下。免费版 5 个任务，若我只需要 20 个同步任务，只能买 50 个同步任务版本，买断价格十几万。换个思路，我们用这十几万买服务器，安装免费的虚拟化，部署 4 个免费的私有化，4 个免费私有化之间的数据 API 互通，4x5=20 个同步任务。相比购买 50 个同步的授权，我得到了我想要的 20 个表的同步，得到了 1 个物理服务器，付出的代价就是麻烦啊麻烦。
所以。之前那位说的按模块或者同步任务按数量接替购买好些。比如几千块/5 个之类。
目前是 1-2 百万条记录每月。
目前要同步的表已经有 20+ 了（以后可能还会增加），所以免费的只有 5 个除非增加到 20 个以上对我们才有意义 - 这个有可能吗？:)
如果不可能，能不能提供一个更便宜但更少任务数的方案 - 目前的起步付费方案给到 50 个任务我们用不到这么多。
我感觉私有部署更合适的方式是按模块（而不是用量）定价？毕竟用的是我们自己的算力。
这个问题目前还没有做出决定。你是希望免费版就包含更多的同步任务，还是希望在付费方案中纳入更大量的任务？目前你所需要的同步任务数是什么级别？
请问下，这个研究的怎么样了？期待明道云可以针对这个模块给出一个更合理的定价方式
私有部署版本理论上使用的都是客户自己的算力。不过，有关数据同步模块的定价，我们会做进一步的研究。
私有版，也只提供 5 个任务，能否开放，因为我们算力是自己服务器的
我们用的是私有部署（我们每个月目前消耗一千万左右的工作流 - 我们之前用的 SaaS，但发现工作流不够用，所以改的私有部署）。
数据同步任务免费额度只有 5 个，我们需要的比这个要多，目前我们有 20 个左右的基于 PBP/代码块/python 的同步任务，以后很可能还会增加。
我们之所以要做数据同步，是因为明道本身的报表不能满足我们的需求，其他和明道有对接的 BI 产品的价格也不低。我们用的是免费开源的 Metabase，但是它有两个不足：1）mongo 的数据处理有很多限制；2）不能够对数据做 ETL。所以，我们只能把明道的数据用 PBP/代码块/python 的方式同步到 MySQL。
你用的是 SaaS？超出预算指的是版本提供的免费限量远远不够？
能够介绍下你要实现的数据同步性质吗？
了解过了，超出预算，能否用其他功能实现？
明道的数据集成可以了解下 https://blog.mingdao.com/26357.html