大批量数据处理，如何减少工作流消耗 野马Lv.4悟道 发布于 2023-08-01 11:27 最后回复 2023-08-01 12:51:59 问答 收藏 复制链接 新浪微博 微信扫一扫 分享 3 回复1080 浏览 大批量数据处理对工作流的消耗很难承，有没有好的办法？求指导！ 举例场景：对于学校考试成绩进行标准分值的转换，即将 100 分制转换为 150 分制的标准分，转化后用于进行排名，对比等。学生数量较多，大概 20 万人左右。 疑问：如果采用工作流进行逐条数据的处理，对工作流的消耗过大，而且平均分，优秀率，及格率等 类似场景较多。工作流方式基本无法承受，有没有好的思路能够降低工作流的消耗
豁然开朗！感谢
高手
批量插入、批量更新、循环，比如你每个记录放一个处理状态字段，默认未处理，然后取 100 条没处理的数据，放到代码块里，进行数据处理，处理完后输出数组，批量塞到表里，然后再次循环取下一批待处理的 100 条，可以用 webhook，循环简单一点