买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：上海大学

摘要：本发明属于计算机视觉技术领域，具体公开了一种基于pointpillars的多平面编码点云特征深度学习模型的构建方法。构建方法为：获取训练样本，采用训练样本对多平面编码点云特征深度学习模型进行训练，使得将训练样本中的点云数据输入训练后的多平面编码点云特征深度学习模型得到的识别结果为点云数据中检测目标的位置边界框坐标及边界框坐标中目标的存在概率。本发明构建的多平面编码点云特征深度学习模型能够实现对点云数据三维空间采样，并将采样得到三个平面内支柱点云特征进行学习融合，解决了现有点云采样空间信息损失的问题，更好的还原了点云在空间中各个方向上角度不同带来的检测精度的损失，模型的鲁棒性好，检测准确度高。

主权项：1.一种基于pointpillars的多平面编码点云特征深度学习模型的构建方法，其特征在于，所述构建方法为：获取训练样本，所述训练样本包括包含检测目标的点云数据和与点云数据对应的标注信息，标注信息用于指示点云数据中检测目标的边界框坐标和边界框坐标中检测目标的分类标签；采用训练样本对多平面编码点云特征深度学习模型进行训练，使得将训练样本中的点云数据输入训练后的多平面编码点云特征深度学习模型得到的识别结果为点云数据中检测目标的位置边界框坐标及边界框坐标中目标的存在概率；所述多平面编码点云特征深度学习模型是基于pointpillars算法的改进，具体改进之处为：采用多平面融合特征编码网络代替pointpillars算法中的特征编码器网络；所述多平面编码点云特征深度学习模型由多平面融合特征编码网络、Backbone网络和DetectionHead网络组成；采用训练样本对多平面编码点云特征深度学习模型进行训练的具体步骤为：1将训练样本输入多平面融合特征编码网络，多平面融合特征编码网络对训练样本中点云数据x-y平面、x-z平面和y-z平面的特征进行融合编码，得到x-y平面点云的融合特征，并将点云的融合特征转化为稀疏伪图像；2将稀疏伪图像输入Backbone网络进行特征提取，得到稀疏伪图像的卷积特征图；3将稀疏伪图像的卷积特征图输入DetectionHead网络，得到点云数据中检测目标的预测边界框坐标以及预测边界框中存在目标的概率；4以步骤3得到的预测边界框坐标为预测结果，以训练样本中标注的边界框坐标为真实结果，根据预测结果和真实结果构造损失函数，损失函数采用交叉熵损失函数，通过随机梯度下降算法优化多平面编码点云特征深度学习模型的网络参数，降低损失函数数值，不断迭代此过程优化网络参数，直至损失函数停止下降，多平面编码点云特征深度学习模型训练过程结束，得到训练后的多平面编码点云特征深度学习模型；步骤1的具体操作为：1a将训练样本中的点云数据离散在x-y平面上均匀间隔的网格上，z方向上不加限制，创建x-y平面上的一系列支柱，每个支柱中包含的点云用r,xc,yc,zc,xp,yp特征扩充，得到扩充后的点云特征x,y,z,r,xc,yc,zc,xp,yp，扩充后的点云特征维度D＝9；其中，x,y,z表示点云的初始坐标值；r表示点云反射率；xc,yc,zc表示该支柱中所有点云坐标求算术平均值得到的坐标值；xp,yp表示在当前平面的坐标系下支柱中所有点云相对于坐标中心位置的偏差；1b在x-y平面上，将所有非空支柱中包含的点云数量调整一致，然后根据平面上非空支柱数量、非空支柱中包含的点云数量及非空支柱中点云的特征创建一个密集张量D,P,N，即得到x-y平面每个非空支柱的特征D,P,N，其中，D表示非空支柱中点云的特征维度，P表示x-y平面上非空支柱的数量，N表示非空支柱中包含的点云数量；1c采用PointNet网络对x-y平面上非空支柱的特征D,P,N进行特征学习，学习后得到x-y平面每个非空支柱中点云最终特征C,P,N；其中，C表示点云经过PointNet网络学习后得到的新的特征维度，P表示x-y平面上非空支柱的数量，N表示非空支柱中包含的点云数量；1d将训练样本中的点云数据分别离散在x-z平面上均匀间隔的网格上，y方向上不加限制，创建x-z平面上的一系列支柱，每个支柱中包含的点云用r,xc,yc,zc,xp,zp特征扩充，得到扩充后的点云特征x,y,z,r,xc,yc,zc,xp,zp；其中，x,y,z表示点云的初始坐标值；r表示点云反射率；xc,yc,zc表示该支柱中所有点云坐标求算术平均值得到的坐标值；xp,zp表示在当前平面的坐标系下支柱中所有点云相对于坐标中心位置的偏差；然后按照上述步骤1b～1c的操作，得到x-z平面每个非空支柱的点云最终特征C,P,N；1e将训练样本中的点云数据分别离散在y-z平面上均匀间隔的网格上，x方向上不加限制，创建y-z平面上的一系列支柱，每个支柱中包含的点云用r,xc,yc,zc,yp,zp特征扩充，得到扩充后的点云特征x,y,z,r,xc,yc,zc,yp,zp；其中，x,y,z表示点云的初始坐标值；r表示点云反射率；xc,yc,zc表示该支柱中所有点云坐标求算术平均值得到的坐标值；yp,zp表示在当前平面的坐标系下支柱中所有点云相对于坐标中心位置的偏差；然后按照上述步骤1b～1c的操作，得到y-z平面每个非空支柱的点云最终特征C,P,N；1f将x-z平面、y-z平面每个非空支柱的点云最终特征与x-y平面每个非空支柱中点云最终特征进行叠加，得到x-y平面点云的融合特征3C,P,N，采用最大池化操作对融合特征3C,P,N进行处理，得到张量3C,P，然后根据张量3C,P创建稀疏伪图像3C，H，W，其中，H表示稀疏伪图像的高，W表示稀疏伪图像的宽。

全文数据：

权利要求：

百度查询： 上海大学 一种基于pointpillars的多平面编码点云特征深度学习模型的构建方法