买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉东北大学申请的专利一种基于多模态信息融合的三维单目标跟踪方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115880333B 。

龙图腾网通过国家知识产权局官网在2025-12-02发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211545845.X，技术领域涉及：G06T7/246；该发明授权一种基于多模态信息融合的三维单目标跟踪方法是由方正;林雨;李智恒;崔宇波;李硕设计研发完成，并于2022-12-05向国家知识产权局提交的专利申请。

本一种基于多模态信息融合的三维单目标跟踪方法在说明书摘要公布了：本发明提供一种基于多模态信息融合的三维单目标跟踪方法，首先实现原始图像和激光点云的空间对齐；其次基于深度学习方法构建双流特征提取网络，并行提取图像与点云的高维语义特征；随后通过自注意力机制加权模态内的重要信息，并利用交叉注意力机制构建不同模态间的语义联系；然后基于语义增强特征计算纹理和几何相似度，并利用注意力机制生成多模态相似度特征；最后采用多层卷积结构预测目标空间位置与朝向。本发明旨在于充分利用多源传感器异构数据的互补优势，并借助深度学习中的注意力机制自适应融合图像纹理信息和点云几何特征，生成更为鲁棒的多模态特征，以精准回归跟踪目标的三维坐标及朝向，提升三维目标跟踪器的鲁棒性、准确性。

本发明授权一种基于多模态信息融合的三维单目标跟踪方法在权利要求书中公布了：1.一种基于多模态信息融合的三维单目标跟踪方法，其特征在于，包括： 步骤1：对不同传感器采集到的图像和点云数据进行空间对齐； 步骤2：基于深度学习方法构建双流特征提取网络，实现不同网络分支并行提取伪点云与点云的高维语义特征； 步骤3：结合自注意力和交叉注意力实现多模态特征的交互与增强； 步骤4：基于步骤3生成的语义增强特征，计算图像的纹理相似度和点云的几何相似度，并借助交叉注意力融合两类相似度特征，以生成多模态相似度； 步骤5：依据多模态相似度特征，采用多层卷积结构预测目标空间位置与朝向； 所述步骤2包括： 步骤2.1：提取伪点云的纹理特征； 所述步骤2.1包括： 步骤2.1.1：针对步骤1获取的伪点云，对模板伪点云和搜索伪点云均应用最远点采样算法进行点云降采样，分别获得Q个点作为关键点； 步骤2.1.2：针对步骤2.1.1中获取的模板伪点云和搜索伪点云，以Q个关键点为中心，对半径R内的点进行KNN聚类，再使用MLP网络将聚类后的点特征聚合至关键点中； 步骤2.1.3：重复应用最远点采样、KNN聚类、MLP网络，使关键点数量降低到N，输出包含个点的模板点集及搜索点集；其中每个由一个三维坐标向量和一个表征物体局部纹理信息的维描述子组成，即； 步骤2.2：提取真实点云的几何特征； 所述步骤2.2包括： 步骤2.2.1：针对真实点云，将模板点云和搜索点云进行体素化处理，将其转化为稠密的体素表示； 步骤2.2.2：针对模板点云和搜索点云，分别采用三维稀疏卷积网络提取体素中点云的几何特征，生成模板点云的三维体素特征、搜索点云的三维体素特征，式中，表示对应张量的维度； 步骤2.2.3：针对三维体素特征、，分别进行高度通道与特征通道的合并，以输出更为稠密的BEV特征。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人东北大学，其通讯地址为：110819 辽宁省沈阳市和平区文化路3号巷11号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。