买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：大连理工大学

摘要：一种基于多模态融合网络的点云目标检测方法，属于三维目标检测技术领域。本发明改进了点云分组方式。将体素结构化特征与点云的特征进行拼接，扩充了原始数据的特征，在输入网络架构前提供了更多的有效信息，对于每个点云信息更合理的进行表达。本发明提出的网络架构，将点云与图片的特征进行拼接，融合。可以将点云数据提供深度信息的优点，图片数据提供丰富的纹理信息，这些优点进行有效的融合，因此提升了三维物体的检测精度。可以应用于自动驾驶，水下机器人等相关领域。

主权项：1.一种基于多模态融合网络的点云目标检测方法，其特征在于，步骤如下:步骤1：获取待检测目标的三维点云数据及相应的二维图片；步骤2：对步骤1中得到的三维点云数据进行数据增强，去除噪点；步骤3：将数据增强后的三维点云数据转换成规则的体素形式，进而将三维点云数据中三维点云特征进行扩充，将体素的特征扩充为三维点云特征，最后将三维点云特征的通道数转换为128通道，此时三维点云特征记为point_features；步骤3.1：对数据增强后的三维点云数据根据其位置信息进行预处理裁剪，只保留相机范围内的三维点云数据，舍去相机范围外的三维点云数据；然后将预处理裁剪后的三维点云数据进行统一编码，将编码后的三维点云数据沿轴、轴和轴再统一划分给不同的体素；步骤3.2：将预处理裁剪后获取到的三维点云的原始特征记为,,,，分别表示原始三维点云的坐标与反射强度；步骤3.3：将体素内中心点的坐标表示为,,，将原始三维点云的坐标与体素内中心点的坐标的差值记为,,，计算方法为,,；步骤3.4：计算原始三维点云到体素内中心点的距离记为，公式为，将原始三维点云的坐标与距离做差值记为,,，计算方法为,,；步骤3.5：将体素内的每个三维点云升维至10维的特征，顺序为,,,,,,,，将升维后的特征被编码为向量，其中，表示为最大非空体素数；表示体素中包含的点云数，表示为最终扩充的特征维度；将得到的向量经过VFE操作，其中，VFE操作包括全连接层、‌BatchNormalization、ReLU扩充为64维，最后经过卷积层将三维点云特征的通道数转换为128通道，此时三维点云特征记为point_features；步骤4：将步骤1获取到的二维图片的特征先经过预处理，再次经过二维提取网络进行特征提取，所述的二维提取网络采用卷积神经网络中的层次化构建方法，对图片分别进行4倍、8倍、16倍、32倍下采样，获取对应的四个图片特征，通道数也相应的变成256、512、1024、2048；将获取到的四个图片特征经过Neck层，通道数统一变为256；将获取到的四个图片特征与其中一个通道为256的图片特征作为整体，经过大小为3的卷积核将通道数变成128，统一经过卷积层转换为640通道的特征层，将640通道的特征层再次经过线性层，转换成128通道的图片特征，记为pic_features；步骤5：步骤4得到的图片特征pic_features与步骤3得到的三维点云特征point_features维度已匹配后，将两个特征直接相加进行融合，维度不变，再次经过激活函数ReLU，将融合后的三维点云特征映射到体素中；步骤6：利用3D稀疏卷积、子流形稀疏卷积、‌BatchNormalization和ReLU构成的残差稀疏卷积网络结构提取步骤5融合后的三维点云特征，将三维点云特征逐渐转换为2倍、4倍、8倍的下采样尺寸的三维稀疏特征；步骤7：经过ToDense层将步骤6得到的三维稀疏特征沿轴堆叠，得到相应的BEV俯视图；步骤8：步骤7得到的BEV俯视图作为两组2D卷积网络的输入，经过转置卷积，最后将两组2D卷积网络获取到的两组特征进行拼接融合，得到二维融合后的网络特征；步骤9：多检测头网络是运用三个11二维卷积核作用于步骤8得到的网络特征图，从而获得不同类别相对应的特征通道数，不同类别相对应的特征通道数分别是类别分类、位置回归和方向分类；步骤10：损失函数的设计包含类别分类损失函数和位置回归损失函数；类别分类损失函数用来衡量步骤1-9建立的目标检测模型对不同类别进行分类的准确性；位置回归损失函数再次分为角度回归损失函数和定位回归损失。

全文数据：

权利要求：

百度查询： 大连理工大学 一种基于多模态融合网络的点云目标检测方法