买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:湖南长信畅中科技股份有限公司
摘要:本发明涉及数据处理领域,具体涉及一种数据集成中间件的多源异构数据集成方法及系统。一种数据集成中间件的多源异构数据集成系统,包括:数据提取模块、待集成数据处理模块和数据存储模块。本发明通过引入数据源的可信度评估机制,通过计算错误率、完整率,并结合更新频率和历史质量评分,能够为每个数据源生成一个综合的可信度评分;这一评分用于加权处理来自不同数据源的重合数据集,确保了数据集成过程中的准确性和数据的可信度,有效地解决了传统数据集成技术中数据源质量不一导致的数据不一致问题,提高了数据的可靠性。
主权项:1.一种数据集成中间件的多源异构数据集成方法,其特征在于,包括:S1:确定待集成数据源,识别待集成数据源的类型,并根据待集成数据源类型,对各个待集成数据源执行相应的连接操作;基于待集成数据源的数据量与更新频率,针对数据量小于数据量阈值且更新频率小于频率阈值的待集成数据源,进行全量抽取操作;针对其余待集成数据源,进行增量抽取操作;将所有抽取的数据存储至中间存储区;对中间存储区的数据进行清洗操作,再将清洗后的数据转换为统一的格式,获取待集成数据;S2:对各个待集成数据源进行可信度评估,获取各个待集成数据源的可信度评分;针对待集成数据中来自不同待集成数据源的重合数据集,根据各个待集成数据源的可信度评分,对重合数据集进行加权处理,获取加权重合数据;使用加权重合数据替换待集成数据中的重合数据集,获取完整数据;S3:定义目标数据模型,根据目标数据模型,对完整数据进行标准化操作,获取标准化数据;将标准化数据进行整合操作,获取统一数据集,将统一数据集存储至数据仓库中。
全文数据:
权利要求:
百度查询: 湖南长信畅中科技股份有限公司 一种数据集成中间件的多源异构数据集成方法及系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。