买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西北工业大学

摘要：本发明公开了一种基于目标部件多模态特征融合的三维目标检测方法，先对点云进行体素化处理和体素特征编码，再将获得的体素特征通过现有的区域建议网络来生成初始的目标候选建议框，然后借助目标内的部件对称性，使用部件间的注意力来强化目标内的部件特征，再根据同类别目标之间的部件结构相似性，对于其中的高置信度的目标建议框，通过与同类别低置信度的建议框之间的交叉部件注意力来融合相关的部件特征，以实现强化低置信度的建议框的部件特征的目的，最后在目标参数预测模块中级联目标内和目标间部件强化模块输出的部件特征来联合预测目标参数，以提升稀疏目标的检测精度。

主权项：1.一种基于目标部件多模态特征融合的三维目标检测方法，其特征在于，包括如下步骤：步骤1：构建三维目标检测系统，包括跨模态部件特征融合模块、目标内部件特征强化模块、目标间部件特征强化模块和目标参数预测模块；所述跨模态部件特征融合模块用于将目标候选建议框均匀地划分为体素，被视为目标部件的体素被分别用于提取部件局部特征、部件图像特征和部件体素特征，提取的三种部件特征再经过特征联合和线性层后得到跨模态的部件特征；所述目标内部件特征强化模块，针对生成的目标候选建议框，根据目标内部的部件对称性，对目标内对称部件的位置进行编码，然后通过部件间的注意力来强化特定部件上的跨模态部件特征以实现对目标内相似部件间的推理，从而在目标内部实现部件特征的强化；所述目标间部件特征强化模块，针对同类别目标候选建议框，根据同类别目标间的部件结构相似性来计算目标间的可变形部件注意力，再根据目标间的部件注意力用高置信度的目标建议框的部件特征来强化同类别低置信度的目标的部件特征，从而实现目标间部件特征的强化；所述目标参数预测模块，使用候选建议框的池化操作对经过目标内部件特征强化模块得到的部件特征进行特征池化得到初始的建议框池化特征，然后将其与目标间部件特征强化模块输出的建议框特征进行特征级联并送入一个线性层，最后将其输出通过一个目标参数回归头和一个目标分类头来预测目标相关参数；步骤2：所述跨模态部件特征融合模块，从三个方面融合目标部件特征：1取自目标建议框中的部件局部特征，部件局部特征包括归一化的部件局部坐标、部件内的点云数和部件内的点云质心；2取自多尺度体素特征的部件体素特征，部件体素特征在多个不同半径的球形邻域内通过聚合其中的多尺度体素特征得到；3取自多尺度图像特征的部件图像特征，部件图像特征借助可变形注意力聚合目标部件在图像投影附近的图像特征得到；最后在每个目标建议框的部件上，将三种不同来源的部件特征进行相加以生成最终的跨模态部件特征；步骤3：所述目标内部件特征强化模块，根据右手法则，将水平向右的方向作为激光雷达坐标系x轴的正方向，然后让目标的纵向对称轴与坐标系的x轴朝向保持一致，对分列在x轴两侧相互对称的部件间进行同样的部件位置编码，这些位置编码被送入一个Transformer结构，并在其中的部件特征聚合过程中与相应的部件查询特征相结合，以实现强化目标内部件特征的目的；步骤4：所述目标间部件特征强化模块，首先对经过目标内部件特征强化模块输出的建议框部件特征进行池化，再利用高置信度的建议框和同类别低置信度的建议框的池化特征的乘积经过多个线性层来生成部件交叉注意力和部件偏移量，这些三维部件偏移量被用来在高置信度的目标建议框的部件特征中提取部件特征，提取的部件特征再按照相应的部件交叉注意力在低置信度的建议框的中心再次聚合，然后与初始的建议框部件池化特征相级联以实现为低置信度的目标建议框生成强化的建议框池化特征的目的。

全文数据：

权利要求：

百度查询： 西北工业大学 一种基于目标部件多模态特征融合的三维目标检测方法