买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西安建筑科技大学

摘要：本发明公开了一种3D目标检测深度神经网络模型及其3D目标检测方法，包括以下过程，提取被检测3D对象的图像特征和点云数据的点云特征；计算点云特征和图像特征之间的互相注意力权重，得到融合了图像信息和点云信息的融合特征，融合特征输入区域提案网络中，区域提案网络的输出作为分类回归多任务学习网络的输入，分类回归多任务学习网络输出3D目标的类别、3D目标矩形包围框的偏移量和朝向，完成3D目标检测。本发明引入互注意力模块自适应对齐图像特征和点云特征，得到基于图像特征增强后的点云特征，应用区域提案网络和分类回归多任务学习网络实现3D目标检测。有效融合图像信息和点云信息，提高3D目标检测的准确率。

主权项：1.一种3D目标检测方法，其特征在于，采用预设的3D目标检测深度网络模型进行检测，所述3D目标检测深度网络模型包括特征提取模块、融合特征模块、区域提案网络和分类回归多任务学习网络，包括以下过程：特征提取模块提取被检测3D对象的图像特征和点云数据对应的点云特征；通过融合特征模块计算点云特征和图像特征之间的相互注意力权重得到融合了图像信息和点云信息的融合特征，所述融合特征输入区域提案网络中，区域提案网络的输出作为分类回归多任务学习网络的输入，所述分类回归多任务学习网络输出3D目标的类别、3D目标矩形包围框的偏移量和朝向，完成3D目标检测；融合特征的融合过程如下：点云特征为，图像特征为，计算和之间的相关函数值： 式中：为点云特征和经过空间变换的图像特征之间的相关函数值，为图像特征和经过空间变换的点云特征之间的相关函数值，和分别为点云特征的空间变换矩阵和图像特征的空间变换矩阵，和分别为图像特征的空间平移向量和点云特征的空间平移向量；对和进行数值转换得到和之间的相互注意力权重和，根据和对和进行修正，得到融合特征；对和采用进行数值转换；根据和对和进行修正，得到融合特征的具体步骤如下：将图像特征的相互注意力权重和点云特征相乘得到图像修正矩阵，则经点云信息修正后的图像特征为： 根据修正后的图像特征和点云特征的相互注意力权重相乘得到点云特征修正矩阵，则经图像特征修正后的点云特征为： 修正后的点云特征即为融合特征。

全文数据：

权利要求：

百度查询： 西安建筑科技大学 一种3D目标检测系统及其3D目标检测方法