需要每次处理 10000 条记录的删除、新增操作，很容易导致明道系统的崩溃，体现在 CPU 的占满，有时候不得不重新启动虚拟机。
想过很多办法，只能规避大数据量的作业，但长久看也不是办法啊。
各位是如何避免的呢？
各位是如何处理大数据量的作业的
12 / 214
请
登录后发表观点
| ENV_WORKFLOW_PARALLELISM_THREADS | 工作流并行消费线程池大小，单位秒，默认：10 |
是这个吗？
是的，但是不要调的太多，还有根据工作流的特点和日常使用情况，可以调整以下环境变量（切记加起来不要超过线程数量）：
| ENV_WORKFLOW_CONSUMER_THREADS | 工作流消息队列的消费线程数，默认：3 |
| ENV_WORKFLOW_ROUTER_CONSUMER_THREADS | 工作流慢消息队列的消费线程数，默认：3 |
| ENV_WORKSHEET_CONSUMER_THREADS | 工作表消费线程数，默认：2 |
另外可以参考调整以下两个（）：
https://docs-pd.mingdao.com/faq/deployment#如何查看现有分区数当前消息堆积情况以及如何自定义工作流消息队列的消费线程数 https://docs-pd.mingdao.com/faq/deployment#如何查看现有分区数当前消息堆积情况以及如何自定义工作表消息队列的消费线程数如果数据量太大的话，合理设置索引：
https://docs-pd.mingdao.com/deployment/mongodb/slowQueryOptimization
私有部署调整一下工作流线程数
| ENV_WORKFLOW_PARALLELISM_THREADS | 工作流并行消费线程池大小，单位秒，默认：10 |
是这个吗？
私有部署调整一下工作流线程数
大神果然有思路
然后 kafak 调整一下分区数
私有部署调整一下工作流线程数
我现在的服务器是 40C，48G 内存，感觉够用了。只是在大数据量（取 ERP 一万条数据回来，通过子进程循环处理）处理时，容易把虚拟机的 host 给拖死机，主要是 CPU 是 90% 以上。
现在 API 没有限制，我在考虑是不是用 API 来处理这个需求。
他这么问那已经是瓶颈了，要么就是服务器不够顶
那我们之前为什么转数仓不是没道理
不是我们几个小时能干多少，而是这个工具能处理多少
让各方金主(爸爸)都满意，还是挺难的。
人家上班时间就那么几个小时，小水管搞几天，人家不干活等你啊。😕
他这么问那已经是瓶颈了，要么就是服务器不够顶
那我们之前为什么转数仓不是没道理
不是我们几个小时能干多少，而是这个工具能处理多少
大数据还是得数据库去弄，做存储开发
要么就做小水管慢慢处理
人家上班时间就那么几个小时，小水管搞几天，人家不干活等你啊。😕
子过流 按条执行，不要并列执行就行了，我都是百万条的数据量， 顶的住的
大数据还是得数据库去弄，做存储开发
要么就做小水管慢慢处理
明道云适合做业务功能，不能期望它具备数据仓库的性能。