买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:天翼云科技有限公司
摘要:本发明公开了一种数据同步中的数据对比以及数据修正方法,主要包括以下步骤:S1:配置要进行数据对比的表对象;配置对比数据块的大小;配置数据抽查比例;S2:检查选中表是否具有唯一键;S3:检查数据同步延迟时间;S4:启动线程分别连接至源数据库和目标数据库;S5:源数据抽取线程从源库选中表的数据快照中获取一个数据块;S6:格式化数据队列;S7:数据校验线程监控格式化数据队列是否有数据;S8:数据修正线程读取统一数据队列中被标记的数据块,生成修正SQL;S9:数据抽取、数据整理、数据校验、数据修正工作完成后,任务结束。本发明可以在源数据库不需要暂停业务的情况下完成数据对比,并且给出数据修正SQL,能够提高数据修正效率。
主权项:1.一种数据同步中的数据对比以及数据修正方法,其特征在于,包括以下步骤:S1:配置要进行数据对比的表对象,称为选中表;配置对比数据块的大小,称为块大小;配置数据抽查比例;S2:检查选中表是否具有唯一键,剔除无唯一键的选中表;S3:检查数据同步延迟时间,判断当前源数据库产生的增量数据是否已全部同步至目标数据库,若是,继续下一步;若否,等待适当时间或用户选择强制进入下一步;S4:启动线程分别连接至源数据库和目标数据库,获取此刻源数据库和目标数据库中选中表的数据快照;S5:源数据抽取线程从源库选中表的数据快照中获取一个数据块;S6:格式化数据队列,同时删除原始数据队列中的对应两个数据块,释放内存;S7:数据校验线程监控格式化数据队列是否有数据;S8:数据修正线程读取统一数据队列中被标记的数据块,逐行数据对比,找出不一致的具体数据行,生成修正SQL;S9:数据抽取、数据整理、数据校验、数据修正工作完成后,任务结束。
全文数据:
权利要求:
百度查询: 天翼云科技有限公司 一种数据同步中的数据对比以及数据修正方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。