买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京航空航天大学

摘要：本发明公开了一种基于相机和毫米波雷达数据的自动对齐方法，该方法首先通过毫米波雷达扫描获得点云数据，通过相机获取视觉图像信息，然后基于到DLA‑34网络结构处理以获得图像特征图，进一步的将有效毫米波点云映射到图像特征图中，接着设定最大目标数和计算点云特征向量，通过attention融合模块进行处理，得到数据对齐后的雷达和图像融合特征图；最后将图像融合特征图送入RetinaNet目标检测子网络进行处理，获得图像中目标的定位和分类结果，完成数据自动对齐。相比现有技术采用手工设计数据对齐组件，本发明降低了模型设计的复杂度，提高了目标识别的感知精度。

主权项：1.一种基于相机和毫米波雷达数据的自动对齐方法，其特征在于，所述方法包括如下步骤：1针对同一个视觉场景，通过毫米波雷达扫描获得毫米波点云数据，且相机获取视觉图像信息；2对步骤1获得的图像信息进行预处理，基于DLA-34网络结构进行处理，得到图像特征图；3将步骤1得到的毫米波雷达点云映射到步骤2中的图像特征图中，得到每个毫米波雷达点云在图像特征图中的位置；4设定最大目标数，且根据图像特征图中位置对应的雷达点的属性值，计算点云特征向量；其中，设定最大目标数的步骤如下：图像的尺寸为h,w，图像到DLA-34最后一个特征图间的下采样系数为d，该特征图的尺寸为h'＝hd,w'＝wd,通道数为c1；特征图最多可检测出w'个目标物体，因此最大目标数可设定为N＝w'；点云特征向量的计算步骤包括创建大小为N×c2的点云特征向量，然后从每个位置的雷达点的属性中选择c2个属性值，作为该点云特征向量u处的初始特征值，其中：N为最大目标数，c2为毫米波雷达点云数据属性值个数；5将点云特征向量和图像特征图送入attention融合模块进行处理，得到数据对齐后的雷达和图像融合特征图；6将图像融合特征图送入RetinaNet目标检测子网络进行处理，获得图像中目标的定位和分类结果；图像融合特征图包括如下过程：6.1获取步骤2中的图像特征图E∈RL×C1，步骤4中的点云特征向量Qq∈RN×C2，其中L为图像特征图的空间特征数，即h'×w'；6.2预测每个点云特征向量对应的目标物体的中心点位置ch',cw'和尺寸大小sh',sw'，计算过程如下：ch',cw'＝sigmoidFCQqsh',sw'＝FCQq并使用预测值生成目标物体的二维高斯分布Gi,j，其中,β表示调节高斯分布的带宽，表达式如下： 6.3给定点云特征向量Qq∈RN×c2和图像特征图E∈RL×c1，计算点云特征向量和图像特征的共同注意力C的权重Cweight∈RN×L，计算过程如下：K＝EQ＝FCQq 点云特征向量由毫米波雷达点初始化，可以为预测目标物体提供空间先验，获取步骤6.2的高斯分布权重G∈RN×L，修正后的Cweight∈RN×L为： Cweight对图像空间像素特征i和点云特征向量j进行了关系建模和表达，通过对Cweight执行行相加和sigmoid操作，建立所有点云对图像空间某点像素特征的累积影响，计算表达式如下： 6.4将步骤6.3得到的权重矩阵Cweight∈R1×L和图像特征图E∈RL×c1通过下列计算公式得到数据对齐后的图像融合特征图FE∈RL×c1，计算表达式如下：V＝E 其中，表示元素级乘每个通道，表示元素级相加；7对步骤6中获得的所有目标识别框进行非极大值抑制处理，获得最终目标定位框和每个框的识别结果。

全文数据：

权利要求：

百度查询： 南京航空航天大学 一种基于相机和毫米波雷达数据的自动对齐方法