买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉合肥大智慧财汇数据科技有限公司申请的专利一种海量数据去重方法以及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN121411712B 。

龙图腾网通过国家知识产权局官网在2026-04-03发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511984668.9，技术领域涉及：G06F3/06；该发明授权一种海量数据去重方法以及系统是由冯卫强;张友豪;王子平;刘守洲;吴筱巧;吴彦儒设计研发完成，并于2025-12-26向国家知识产权局提交的专利申请。

本一种海量数据去重方法以及系统在说明书摘要公布了：本发明公开了一种海量数据去重方法以及系统，涉及大数据处理技术领域，一种海量数据去重方法，包括：获取网页数据的原始文本以及对应的元数据；将原始文本与树状存储结构中内存层所有数据通过文本的特征向量以及全文哈希值进行比较；然后将当前原始文本与硬盘层中的数据通过句子哈希值进行比较；最后将当前原始文本与云端层中的数据通过向量相似度进行比较，递进判断，兼顾去重效率、准确性与语义识别能力；并且通过将数据按动态计算的热度评分分层存储于内存、硬盘、云端的三级树状结构中，实现了对存储资源的智能调度与按需分配，有效降低了海量数据计算成本，在整体上优化了系统的经济性与可扩展性。

本发明授权一种海量数据去重方法以及系统在权利要求书中公布了：1.一种海量数据去重方法，其特征在于，用树状存储结构实现，树状存储结构包括内存层、硬盘层和云端层；所述方法包括： S1：获取网页数据，经过预处理之后得到网页数据的原始文本以及对应的元数据；元数据包括网页数据的获取时间以及来源渠道； S2：对原始文本中的内容进行类型识别，并且生成对应的原始文本的特征向量，并通过哈希算法计算原始文本的哈希值以及原始文本中每个句子的哈希值；原始文本类型包括文本数据、数值数据以及事件数据中的一种或者多种； S3：首先将原始文本与树状存储结构中内存层所有数据进行比较；若存在原始文本的特征向量与内存层某条数据的特征向量相同并且原始文本的哈希值与内存层该条数据的哈希值也相同，则判定当前原始文本为重复数据，并进行去除；否则，将当前原始文本写入内存缓存继续进行下一步判断； S4：将当前原始文本与硬盘层中的数据进行比较；若重复，则进行删除，否则将当前文本继续进行下一步判断； S5：将当前原始文本与云端层中的数据进行比较，若当前原始文本与云端层所有数据之间的加权语义余弦相似度均小于相似度阈值时，标记当前原始文本为非重复数据并进行存储，否则，认为当前原始文本为重复数据，进行去除； 步骤S4包括： 首先将当前原始文本中所有句子的哈希值与硬盘层中所有数据的句子的哈希值进行比较，获取硬盘层中哈希值与当前原始文本句子哈希值存在设定条数相同的句子，将所有找到的句子所在的数据作为第一集合；设定条数根据实际情况进行调整； 然后将当前原始文本与第一集合中的数据按照步骤S3中的方式继续进行比较。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人合肥大智慧财汇数据科技有限公司，其通讯地址为：230000 安徽省合肥市蜀山区望江西路99号安高城市广场办2402室；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。