买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国科学院空天信息创新研究院;郑州大学

摘要：本发明提供一种数据查重方法、装置及电子设备；涉及大数据处理技术领域；能够针对科学数据进行查重。该方法包括获取待查重数据集的元数据和实体数据；基于元数据计算待查重数据集与数据库中每个数据集的第一相关度，第一相关度为待查重数据集的元数据与数据库中数据集的元数据之间的相关度；根据第一相关度筛选出数据库中需要再次进行查重的候选数据集；基于待查重数据集的实体数据，计算待查重数据集与候选数据集的第二相关度，第二相关度为待查重数据集的实体数据与候选数据集的实体数据之间的相关度；根据第一相关度、第二相关度确定待查重数据集的查重结果。

主权项：1.一种数据查重方法，其特征在于，包括：获取待查重数据集的元数据和实体数据，其中，所述元数据用于描述所述待查重数据集中包含的科学数据，所述实体数据为所述待查重数据集中包含的科学数据；基于所述元数据计算所述待查重数据集与数据库中每个数据集的第一相关度，所述第一相关度为所述待查重数据集的所述元数据与所述数据库中数据集的元数据之间的相关度；根据所述第一相关度筛选出所述数据库中需要再次进行查重的候选数据集；基于所述待查重数据集的实体数据，计算所述待查重数据集与所述候选数据集的第二相关度，所述第二相关度为所述待查重数据集的所述实体数据与所述候选数据集的实体数据之间的相关度；根据所述第一相关度、所述第二相关度确定所述待查重数据集的查重结果；所述基于所述元数据计算所述待查重数据集与数据库中每个数据集的第一相关度，包括：构建主题内容相似度算法；通过所述主题内容相似度算法计算所述元数据与所述数据库中每个数据集的元数据的第一相关度；所述主题内容相似度算法，包括：通过语言知识库将所述待查重数据集的元数据分为第一语义组和第一统计组，以及通过语言知识库将所述数据库中数据集的元数据分为第二语义组和第二统计组；计算所述第一语义组与所述第二语义组的相似度；计算所述第一统计组与所述第二统计组中相匹配的词语的匹配概率；根据所述相似度之和与所述匹配概率，确定所述待查重数据集与所述数据库中一数据集的第一相关度。

全文数据：

权利要求：

百度查询： 中国科学院空天信息创新研究院 郑州大学 数据查重方法、装置及电子设备