买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:中电云数智科技有限公司
摘要:本发明涉及一种解决数据延迟到达的增量数据同步方法及装置。本方法包括在进行任务配置时预先选定目标端表中某一字段作为业务增量字段、将业务增量字段与源端表中某一时间类型字段建立映射关系、设定初始时间值、构造目标端业务增量字段最大值查询条件、以目标端业务增量字段的最大值作为增量起点构造源端数据初始化查询条件、筛选出本次同步任务源端的增量数据。本方法简便易行、可靠性高,可有效解决源端数据延迟到达的场景下,增量数据同步过程中的数据丢失问题,利用本方法可实现自动化的异构数据源之间的数据初始化及数据增量采集,减少了人工操作,提升了数据采集效率和准确性。
主权项:1.一种解决数据延迟到达的增量数据同步方法,其特征在于,所述方法包括:S1.在进行任务配置时,预先选定目标端表中某一字段作为业务增量字段;S2.将上步选定的业务增量字段与源端表中某一时间类型字段建立映射关系;S3.针对全量初始化同步任务设定初始时间值;S4.针对全量初始化同步任务,根据设定的初始时间值构造全量初始化查询语句,并执行该查询语句获取本次需要同步的全量数据;S5.在第一次增量数据同步任务运行前,根据目标端业务增量字段构造目标端查询语句,并执行该查询语句获取此时该业务增量字段在目标端表中的最大值;S6.以上步获取的业务增量字段在目标端表中的最大值作为第一次源端增量数据筛选的起点值,构造源端增量数据查询语句,并执行该查询语句获取本次需要同步的源端增量数据;S7.后续增量数据同步过程重复S5及S6的步骤,即可进行增量数据同步采集。
全文数据:
权利要求:
百度查询: 中电云数智科技有限公司 一种解决数据延迟到达的增量数据同步方法及装置
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。