买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：舟谱数据技术南京有限公司

摘要：本发明提供一种数据采集准确性检测和修复系统及其控制方法，系统包括比对系统和修复系统；其中，所述比对系统包括配置单元、拉取数据单元和比对单元；所述修复系统包括读取配置单元、校验数据单元及数据修复单元；系统采用巡检方式或即时方式运行；通过对用户库数据和实时数仓数据按主键和字段进行比对，找到异常数据。对比的主键和字段是有限的，从而保证数据的拉取是轻量级的；对比的主键和字段是可配置的，能够灵活的满足比对需求；对比过程是单个用户单个表力度的，所需资源很小。降低了整体的成本，并且对用户库和实时数仓的影响极小，降低执行成本的同时降低对可用性的影响。

主权项：1.一种数据采集准确性检测和修复系统，其特征在于：所述系统包括比对系统和修复系统；其中，所述比对系统包括配置单元、拉取数据单元和比对单元；其中，所述配置单元配置用户信息及任务信息，并将用户信息及任务信息保存于与其连接的元数据库中；所述拉取数据单元根据需要从与其连接的用户库中获取用户信息，然后启动对应的线程，再从与其连接的实时数仓中拉取数据；所述比对单元从配置单元中获取对应数据，在将数据清洗后根据用户进行单独比对，并将比对结果送入与其连接的存储单元中；所述修复系统包括读取配置单元、校验数据单元及数据修复单元；其中，所述读取配置单元从与其连接的比对系统中获取比对对象，从与其连接的存储单元中获取比对结果；所述校验数据单元根据从用户库中获取用户信息与从实时数仓中拉取数据的时间差异，判断数据是否异常；所述数据修复单元根据比对结果中的异常数据，对其进行对应的数据修复，并将修复后的数据送入实时数仓中进行数据更新；所述系统采用巡检方式或即时方式运行，当采用巡检方式运行时，在业务空闲期，对所有用户库进行比对；当采用即时方式运行时，当发现了异常数据时,进行一轮即时比对和修复过程；所述校验数据单元中，先判断从用户库中获取用户信息与从实时数仓中拉取数据的时间差异与预设拉取时间范围的关系：当所述时间差异≤预设拉取时间范围时，认定数据正常；当所述时间差异＞预设拉取时间范围时，再判断所述时间差异与预设偏移阈值的关系：当所述时间差异≤预设偏移阈值时，认定数据正常；当所述时间差异＞预设偏移阈值时，认定数据异常；所述数据修复单元中，当用户库数据和实时数仓数据不一致时，将用户库数据的当前时间减少间隔时间，以将用户库数据更新到实时数仓中；当数据仅在实时数仓中存在，但在用户库中不存在时，在用户库中检查该数据是否确实不存在了，如果确实不存在则从实时数仓中物理删除或逻辑删除该数据。

全文数据：

权利要求：

百度查询： 舟谱数据技术南京有限公司 一种数据采集准确性检测和修复系统及其控制方法