大批量数据处理对工作流的消耗很难承,有没有好的办法?求指导!
举例场景:对于学校考试成绩进行标准分值的转换,即将 100 分制转换为 150 分制的标准分,转化后用于进行排名,对比等。学生数量较多,大概 20 万人左右。
疑问:如果采用工作流进行逐条数据的处理,对工作流的消耗过大,而且平均分,优秀率,及格率等 类似场景较多。工作流方式基本无法承受,有没有好的思路能够降低工作流的消耗
大批量数据处理对工作流的消耗很难承,有没有好的办法?求指导!
举例场景:对于学校考试成绩进行标准分值的转换,即将 100 分制转换为 150 分制的标准分,转化后用于进行排名,对比等。学生数量较多,大概 20 万人左右。
疑问:如果采用工作流进行逐条数据的处理,对工作流的消耗过大,而且平均分,优秀率,及格率等 类似场景较多。工作流方式基本无法承受,有没有好的思路能够降低工作流的消耗
frank.lin 2023-08-01 11:33:44批量插入、批量更新、循环,比如你每个记录放一个处理状态字段,默认未处理,然后取 100 条没处理的数据,放到代码块里,进行数据处理,处理完后输出数组,批量塞到表里,然后再次循环取下一批待处理的 100 条,可以用 webhook,循环简单一点
豁然开朗!感谢
frank.lin 2023-08-01 11:33:44批量插入、批量更新、循环,比如你每个记录放一个处理状态字段,默认未处理,然后取 100 条没处理的数据,放到代码块里,进行数据处理,处理完后输出数组,批量塞到表里,然后再次循环取下一批待处理的 100 条,可以用 webhook,循环简单一点
高手
批量插入、批量更新、循环,比如你每个记录放一个处理状态字段,默认未处理,然后取 100 条没处理的数据,放到代码块里,进行数据处理,处理完后输出数组,批量塞到表里,然后再次循环取下一批待处理的 100 条,可以用 webhook,循环简单一点