请
登录后发表观点
方棱 2024-08-28 09:24:39如果有“创建时间”字段,可以用于“对新增数据进行增量同步”进程的断点。
如果有“最后更新时间”字段,可以用于“对新增和修改数据进行增量同步”进程的断点。
如果上游系统对数据进行真删,只能靠全量同步来对比出删掉了哪些。
如上面所说,增量只能解决一部分问题,肯定要考虑全量的情况,这一点是个 BUG
如果有“创建时间”字段,可以用于“对新增数据进行增量同步”进程的断点。
如果有“最后更新时间”字段,可以用于“对新增和修改数据进行增量同步”进程的断点。
如果上游系统对数据进行真删,只能靠全量同步来对比出删掉了哪些。
听人劝吃饱饭 2024-08-28 09:03:40先取一次所有数据,新增部分用定时和接口条件(审核日期或者创建日期)
是这样考虑的,但担心有时候新增的会卡住,这样就会漏数据,需要再加一个全量的比对功能。
另外要从事务数据中取归类数据,还是跑不掉要做大数据量的对比。比如想从采购订单流水中找供应商 + 物料的关联关系,把事务数据提取到明道中显示,取新增的每天流水后,回到明道还要对比已有数据。
先取一次所有数据,新增部分用定时和接口条件(审核日期或者创建日期)