我需要筛选出表中电话字段重复的数据,希望能用少量工作流实现(工作表数据四十万)
现有 2 种实现方法但都有点问题,是否有其他方案可以实现?或者对这两种方案优化
第一种方案:统计图筛选
问题:
1.无法直接筛选值大于 2 的数据。
2.一次统计的数据也不能太多不然没结果。
第二种方案:工作流循环调用明道云提供获取数据接口,先对电话字段进行排序,再依次查找 1000 条数据,通过代码查找出重复数据。
问题:
如果重复数据刚好处于 1000 和 1001 条就无法查找出重复数据
我需要筛选出表中电话字段重复的数据,希望能用少量工作流实现(工作表数据四十万)
现有 2 种实现方法但都有点问题,是否有其他方案可以实现?或者对这两种方案优化
第一种方案:统计图筛选
问题:
1.无法直接筛选值大于 2 的数据。
2.一次统计的数据也不能太多不然没结果。
第二种方案:工作流循环调用明道云提供获取数据接口,先对电话字段进行排序,再依次查找 1000 条数据,通过代码查找出重复数据。
问题:
如果重复数据刚好处于 1000 和 1001 条就无法查找出重复数据
这个后面流程都可行,只是这一步“导出”有点问题,我将四十万条数据导出早上九点导出,现在 11:21 了还没导出来,执行时间现在不可预估
不是吧,这点数据导了那么长时间?勾选快速导出啊,只需要勾选两个字段
1,排序,确保相同的记录都紧密相邻。
2,从前到后遍历,与上一条记录不同的记 Rank=(i=1),与上一条记录不同的记 Rank=++i。
3,若记录数量超多:1)清空 Rank;2)每轮取 Rank 为空的前 100 条,赋值 Rank;3)一轮数量 <100 即为最后一轮。
4,筛 Rank>1 的,就是你要的数据。
这个方案可行,非常感谢。
对于业务来说,Excel 表格启用筛选,一秒就出结果了
对于系统想跑流程获取这个数据,跑个运算也能取,设置为每次这个字段更新就能取, 新建个视图然后用这个数值过滤 >1
用少量工作流,不可能的,量级少透视表(方案 1)是可以的
实际上大概预估了一下,重复数据不超过 1000 条,为此动用超过 3000 工作流就属于有点性价比不高了,所以在找最优解决方案。
我不太理解你说的“对于业务来说,Excel 表格启用筛选,一秒就出结果了”这个是启用筛选是怎么操作的呢?
一开始就开启电话自动不允许重复,就不会出现重复了呀
实际上有勾选不允许重复输入,这个只限制用户输入,没有设置索引,这些问题数据是由于 API 写入或者最开始建表导入数据时就有重复导致的,现在是需要处理这批数据。
视图开启行记录 id 显示,导出数据,Excel 里--条件格式--重复值突出显示,随便设置个颜色,筛选出有颜色的(重复项),这部分数据把其行记录 id 字段单独保存一张 Excel 表,然后 hap 建一张临时表导进去,再通过工作流实现后续处理
这个后面流程都可行,只是这一步“导出”有点问题,我将四十万条数据导出早上九点导出,现在 11:21 了还没导出来,执行时间现在不可预估
上一轮要存好断点信息,就能传递到下一轮。
1,排序,确保相同的记录都紧密相邻。
2,从前到后遍历,与上一条记录不同的记 Rank=(i=1),与上一条记录不同的记 Rank=++i。
3,若记录数量超多:1)清空 Rank;2)每轮取 Rank 为空的前 100 条,赋值 Rank;3)一轮数量 <100 即为最后一轮。
4,筛 Rank>1 的,就是你要的数据。
对于业务来说,Excel 表格启用筛选,一秒就出结果了
对于系统想跑流程获取这个数据,跑个运算也能取,设置为每次这个字段更新就能取, 新建个视图然后用这个数值过滤 >1
用少量工作流,不可能的,量级少透视表(方案 1)是可以的
一开始就开启电话自动不允许重复,就不会出现重复了呀
视图开启行记录 id 显示,导出数据,Excel 里--条件格式--重复值突出显示,随便设置个颜色,筛选出有颜色的(重复项),这部分数据把其行记录 id 字段单独保存一张 Excel 表,然后 hap 建一张临时表导进去,再通过工作流实现后续处理