买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：清华大学

摘要：本申请涉及立体视觉目标检测技术领域，特别涉及一种基于图像与点云融合的多模态三维目标检测方法及装置，其中，方法包括：利用图像卷积神经网络提取至少一个图像特征，并基于至少一个图像特征预测图像所含目标；根据传感器标定关系确定像素和点云投影关系，并基于像素和点云投影关系将像素特征融合至点云数据；将点云空间划分为柱体，并使用柱体特征网络编码柱体内点云，根据融合后的点云数据生成伪图像特征；将柱体对应的图像的结构化特征合并至伪图像特征；根据伪图像特征利用单步目标检测网络生成三维候选框，得到目标检测结果。本申请实施例可以基于图像和点云数据融合实现三维目标检测的目的，使用图像数据特征增强了从点云场景中执行目标检测的性能，有效保证检测的准确度和可靠性。

主权项：1.一种基于图像与点云融合的多模态三维目标检测方法，其特征在于，包括以下步骤：利用图像卷积神经网络提取至少一个图像特征，并基于所述至少一个图像特征预测图像所含目标；基于所述图像所含目标，根据传感器标定关系确定像素和点云投影关系，并基于所述像素和点云投影关系将像素特征融合至点云数据；将点云空间划分为柱体，并使用柱体特征网络编码柱体内点云，根据融合后的点云数据生成伪图像特征；将所述柱体对应的图像的结构化特征合并至所述伪图像特征，其中，所述将所述柱体对应的图像的结构化特征合并至所述伪图像特征，包括：计算所述柱体内点云的几何中心，确定所述柱体的计算坐标；根据激光雷达和相机位置矩阵及相机内参矩阵，将柱体坐标转换至像素平面，确定每个柱体对应的像素；根据所述每个柱体对应的像素生成柱体对应的特征；将所述柱体对应的特征合并到伪图像特征中；其中，所述柱体对应的特征包括第二语义特征、第二纹理特征和第二几何特征，其中，所述根据所述每个柱体对应的像素生成柱体对应的特征，包括：若柱体中心坐标对应的像素位于所述图像所含目标内，则将所述对应的像素标识为目标类别，否则标识为背景类别，生成的像素类别为所述第二语义特征；基于柱体中心对应的像素的三通道颜色值生成所述第二纹理特征；根据所述柱体中心对应的像素计算与图像检测到的目标的像素差，并计算相应的偏角，生成所述第二几何特征；以及根据所述伪图像特征利用单步目标检测网络生成三维候选框，得到目标检测结果。

全文数据：

权利要求：

百度查询： 清华大学 基于图像与点云融合的多模态三维目标检测方法及装置