山东省国土空间数据和遥感技术研究院(山东省海域动态监视监测中心)孙振喜获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉山东省国土空间数据和遥感技术研究院(山东省海域动态监视监测中心)申请的专利基于ElasticSearch的数据检测方法和系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119884346B 。
龙图腾网通过国家知识产权局官网在2025-07-18发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510371770.5,技术领域涉及:G06F16/334;该发明授权基于ElasticSearch的数据检测方法和系统是由孙振喜;孙文胜;生海迪;苏彬;孟克;孙燕设计研发完成,并于2025-03-27向国家知识产权局提交的专利申请。
本基于ElasticSearch的数据检测方法和系统在说明书摘要公布了:本发明涉及一种基于ElasticSearch的数据检测方法和系统,涉及数据处理技术领域,该方法包括:基于ElasticSearch构建复合密度树索引,并基于复合密度树索引对相似数据集进行预筛选,得到目标文档和候选文档;基于可逆特征变换矩阵对目标文档和候选文档进行抗干扰重构,得到重构目标文档和重构候选文档;构建自适的动态权重;计算目标文档与候选文档之间的相似度;确定增量更新的动态权重;基于增量更新的动态权重动态选择最优计算路径,并基于最优计算路径再次对目标文档与候选文档进行重复性检测,得到重复性检测结果。本发明能够提升数据重复性检测的准确性和效率。
本发明授权基于ElasticSearch的数据检测方法和系统在权利要求书中公布了:1.一种基于ElasticSearch的数据检测方法,其特征在于,所述方法包括: 基于ElasticSearch构建复合密度树索引,并基于所述复合密度树索引对相似数据集进行预筛选,得到目标文档和候选文档,包括:在ElasticSearch中,建立基于空间分割的复合倒排索引,该索引将空间数据分解成多个子空间,并通过动态的临界密度函数来定位潜在的相似数据集,通过动态临界密度函数动态调整相似性检测的阈值,使特征空间密度接近的文档被选中,空间数据包含文档特征、查询; 采用可分解注意力机制生成可逆特征变换矩阵,并基于所述可逆特征变换矩阵对所述目标文档和所述候选文档进行抗干扰重构,得到重构目标文档和重构候选文档; 基于所述重构目标文档与所述重构候选文档中各特征维度的熵差异,构建特征维度自适的动态权重; 基于所述动态权重的渐近加权余弦相似度函数,计算所述目标文档与所述候选文档之间的相似度,包括:获取所述目标文档的集合中各维度的第一特征值,以及所述候选文档的集合中各维度的第二特征值;对所述第一特征值和所述第二特征值进行幂变换处理,得到幂变换后的第一特征值和幂变换后的第二特征值;计算所述第一特征值与所述第二特征值之间的距离;对所述幂变换后的第一特征值和所述幂变换后的第二特征值进行归一化处理,得到归一化特征值;基于所述第一特征值与所述第二特征值之间的距离、所述幂变换后的第一特征值、所述幂变换后的第二特征值和所述归一化特征值,确定所述目标文档与所述候选文档之间的相似度;目标文档与候选文档之间的相似度表示为:;其中,是加权余弦相似度,是第维度的动态权重,、是数据集中的第维特征值,是调和系数,是幂变换因子,是非线性补偿参数,、幂变换后的特征值; 利用频率矢量化机制进行增量式参数优化,确定增量更新的动态权重,包括:根据所述动态权重更新的学习率、所述相似度对所述动态权重更新的损失函数的梯度,确定所述动态权重的基础更新量;根据所述动态权重对应维度的特征值进行特征校准处理,得到对应的特征校准值;所述相似度对所述动态权重的梯度向量的L1.5范数进行归一化处理,得到梯度归一化值;对所述可逆特征变换矩阵的变化进行动量调整,得到动态调整量;根据所述基础更新量、所述特征校准值、所述梯度归一化值和所述动态调整量,确定所述增量更新的动态权重;增量更新的动态权重表示为:其中,是增量更新的动态权重,是学习率,是损失函数对相似度的梯度,是特征值经过梯度校准后的修正,是相似度对梯度的L1.5范数,是动量调整函数,是矩阵重构系数; 选择最优计算路径,并基于所述最优计算路径再次对所述目标文档与所述候选文档进行重复性检测,得到重复性检测结果,所述最优计算路径基于混合分片架构计算,所述混合分片架构采用异构计算单元分片策略,其中: CPU分片处理CDTI预筛选任务,GPU分片执行相似度计算,且分片间通过RDMA实现低延迟通信; 其中,所述CDTI预筛选任务为基于所述复合密度树索引对所述相似数据集进行预筛选得到所述目标文档和所述候选文档的任务。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人山东省国土空间数据和遥感技术研究院(山东省海域动态监视监测中心),其通讯地址为:250002 山东省济南市市中区舜耕路48号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。