浙江大学;杭州一知智能科技有限公司赵洲获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉浙江大学;杭州一知智能科技有限公司申请的专利一种基于语义匹配知识蒸馏的3D视觉定位方法和系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116363212B 。
龙图腾网通过国家知识产权局官网在2025-08-29发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310177617.X,技术领域涉及:G06T7/73;该发明授权一种基于语义匹配知识蒸馏的3D视觉定位方法和系统是由赵洲;朱亦陈;王泽寒;黄海烽;赵阳;陈哲乾设计研发完成,并于2023-02-28向国家知识产权局提交的专利申请。
本一种基于语义匹配知识蒸馏的3D视觉定位方法和系统在说明书摘要公布了:本发明公开了一种基于语义匹配知识蒸馏的3D视觉定位方法和系统,属于视觉定位领域,在典型的两阶段3D视觉定位模型基础上,根据物体和查询语句之间的相似度矩阵,提取候选物体;对查询语句进行重要词汇掩码,根据候选物体与掩码词汇的语义重构结果计算重建损失和语义匹配分数,生成全部物体的蒸馏伪标签,将蒸馏伪标签与生成的每一个物体的预测分数对齐,将语义匹配分数蒸馏到跨模态匹配网络中,计算蒸馏损失,联合各损失训练跨模态匹配网络;利用训练好的跨模态匹配网络进行3D视觉定位,将预测分数最高的物体作为定位结果。本发明发挥经过充分研究的3D视觉定位模型结构的优势,有效降低推理成本并进一步提高模型性能,并证明了其有效性。
本发明授权一种基于语义匹配知识蒸馏的3D视觉定位方法和系统在权利要求书中公布了:1.一种基于语义匹配知识蒸馏的3D视觉定位方法,其特征在于,包括如下步骤: 1从给定的点云中提取物体及其物体类别、物体特征;以及,从与给定点云匹配的查询语句中提取文本特征、文本类别;采用跨模态匹配网络对物体和查询语句进行特征匹配,生成每一个物体的预测分数并计算特征匹配损失; 2根据物体和查询语句之间的相似度矩阵,提取候选物体; 3对与给定点云匹配的查询语句进行重要词汇掩码,根据候选物体与掩码词汇的语义重构结果计算重建损失与每一个候选物体的语义匹配分数; 所述的步骤3包括: 3.1向查询语句中加入掩码,将查询语句中的重要词汇屏蔽; 3.2获取掩码后查询语句的文本特征; 3.3计算各候选物体的跨模态语义表示: 其中,fk表示第k个候选物体的跨模态语义表示,fi k表示第k个候选物体与掩码后查询语句中第i个单词的跨模态语义表示,表示第k个候选物体特征,表示掩码后查询语句的文本特征,Dec·,·是一个Transformer解码器,Nq表示查询语句中单词的数量; 3.4根据各候选物体对步骤3.1被屏蔽的重要词汇进行重建,计算各候选物体关于词汇表的能量分布: 其中,是第k个候选物体对第i个预测词汇的能量分布,Nv是词汇表中的单词数量;W和b是可学习参数; 3.5根据各候选物体的能量分布计算各候选物体的重建损失; 3.6计算各候选物体的语义匹配分数: 其中,rk表示第k个候选物体的重建损失在全部候选物体重建损失中的排名,表示第k个候选物体的语义匹配分数,K表示候选物体的数量; 4根据每一个候选物体的语义匹配分数生成全部物体的蒸馏伪标签,将所述的蒸馏伪标签与步骤1生成的每一个物体的预测分数对齐,将语义匹配分数蒸馏到跨模态匹配网络中,计算蒸馏损失; 5联合特征匹配损失、重建损失和蒸馏损失,训练跨模态匹配网络; 6利用训练好的跨模态匹配网络进行3D视觉定位,将预测分数最高的物体作为定位结果。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人浙江大学;杭州一知智能科技有限公司,其通讯地址为:310058 浙江省杭州市西湖区余杭塘路866号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。