买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：合肥工业大学

摘要：本发明公开了一种基于多视图表示和多模态融合的3D体素占用预测方法，包括：1.采集交通场景环视图像数据和交通场景点云数据；2.利用点云数据辅助图像进行深度估计，获取带有深度的图像特征；3.体素化点云数据，获得点云体素特征；4.对带有深度的图像特征与点云体素特征执行分组池化操作，获得点云三视图特征与图像三视图特征；5.对点云三视图特征与图像三视图特征进行自适应融合，获得融合多模态三视图特征；6.对融合多模态特征进行插值采样，获得3D融合体素特征；7.构建占用预测头，输出逐体素占用预测结果。本发明能有效避免3D占用预测过程中计算开销过大的问题，并能保证足够高的预测准确率，从而对自动驾驶场景中的行车安全保障有重要意义。

主权项：1.一种基于多视图表示和多模态融合的3D体素占用预测方法，其特征在于，包括如下步骤：步骤1、采集车辆周围交通场景的多模态数据；步骤1.1、使用一组环视相机采集车辆周围交通场景的环视图像数据，其中，表示第j个环视相机采集到的环视图像数据，表示环视相机的总数量，，分别表示相机采集到的图像的高度和宽度，且每张图像包含RGB三通道的信息；步骤1.2、使用激光雷达同步采集车辆周围交通场景的点云数据，将其中的一帧点云数据记为，且，表示任意第o个点，且包含自身在雷达坐标系下的坐标信息以及反射强度信息；其中，表示一帧点云数据中的点数量；步骤2、构建图像深度预测模块，包含：图像特征编码网络、点云坐标变换网络、图像特征重建网络、图像坐标变换网络，得到图像体素特征；步骤2.1、所述图像特征编码网络对进行处理，得到第j个环视相机采集到的图像特征图；步骤2.2、所述点云坐标变换网络对进行处理，得到第j个环视相机的像素坐标系下的点云投影特征图；步骤2.3、所述图像特征重建网络利用所述点云投影特征图对图像特征图进行增强，得到第j个环视相机的像素坐标系下带有深度信息的图像特征图；步骤2.4、用所述图像坐标变换网络对带有深度信息的图像特征图进行处理，得到图像体素特征；步骤3、构建点云体素化模块，对P进行特征提取与体素化处理，得到点云体素特征；步骤3.1、将P输入一个包含m个隐藏层的多层感知机网络中进行特征升维与数据增强处理，得到增强后的点云特征，其中，表示增强后的点云特征的维度；步骤3.2、计算中任意第o个点的增强特征的体素坐标，并将增强特征分配至所对应的体素网格中；利用最大池化聚合每一个体素网格中所有点的增强特征，从而输出点云体素特征；步骤4、构建视图投影模块，并分别对和进行特征提取，相应得到视图下的图像特征和点云三视图特征；步骤5、构建2D视图特征提取网络，并分别对和进行处理，相应得到视图下的深层图像特征和深层点云特征；步骤6、构建基于双重交叉注意力机制的多视图融合模块并对和进行处理，得到视图下的融合特征；步骤7、对进行三维特征重建，得到融合体素特征；步骤8、构建占用预测模块，并对进行处理，得到3D体素占用预测结果；占用预测模块利用一个线性投影层对进行处理，输出逐体素的占用预测信息，其中，E的占用预测信息包括：E的占用状态以及E的占用物体类别，若E被物体占用，则E的占用状态，且，表示占用物体的类别数；若E未被物体占用，则E的占用状态。

全文数据：

权利要求：

百度查询： 合肥工业大学 基于多视图表示和多模态融合的3D体素占用预测方法