买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京工商大学

摘要：本发明公开了一种基于融合视觉特征的RGB‑D快速无监督配准方法，针对室内场景RGB‑D数据的特点，能够准确快速的进行配准。此方法总体框架如图1所示，首先，选用公开数据集ScanNet，并从数据集得到所需场景的相应颜色图和深度图作为原始RGB‑D数据，再基于该原始RGB‑D数据划分训练集和验证集；其次，利用颜色图和深度图生成相应场景的颜色点云，并将颜色点云作为深度学习模型的输入提取特征，特征提取的具体过程为：将颜色点云分别输入到几何编码器和视觉编码器中，其中几何编码器由两个多层感知机和池化层组成，视觉编码器包含两个卷积层、一个池化层和一个全连接层；接着，对提取到的几何特征和视觉特征进行融合得到融合特征，将融合特征分别进行计算特征度量投影误差得到变换g，输入到解码器中恢复点云形状；最后将变换g应用到恢复的点云中并替代之前的颜色点云作为新的输入，迭代进行后续步骤，直到输出最终的g。与现有方法相比，我们的方法更充分利用到室内场景RGB‑D数据的特征并且更快速。该方法在三维重建、自动驾驶、虚拟现实等领域具有广泛应用前景。

主权项：1.一种基于融合视觉特征的RGB-D快速无监督配准方法，其特征是，通过对室内场景RGB-D数据进行预处理得到颜色点云，对颜色点云进行刚性变换得到源点云和目标点云，构建基于深度学习的几何特征和视觉特征的神经网络模型并以源点云和目标点云作为输入，对室内场景RGB-D实现基于深度学习的快速无监督配准；包括以下步骤：步骤1：获取室内场景公开RGB-D数据集，并使用其对应的颜色图和深度图生成场景的颜色点云；步骤2：对颜色点云进行预处理，使用随机的刚性变换使颜色点云生成源点云和目标点云，作为神经网络模型的输入；步骤3：将目标点云和源点云共同输入由神经网络构成的特征提取器中，并将特征融合分别得到目标点云和源点云的融合特征；特征提取方法包括如下过程：步骤3.1：建立几何特征编码器，将目标点云和源点云输入由多层感知机和池化层组合的几何特征编码器中，逐层提取点云数据的几何特征，将几何特征记为Fg；步骤3.2：建立视觉特征编码器，将目标点云和源点云输入由卷积层、池化层和全连接层组合的视觉特征编码器中，逐层提取点云数据的视觉特征，将视觉特征记为Fv；步骤3.3：将输入的颜色点云数据的几何特征Fg和视觉特征Fv进行特征融合，融合的方法如公式（1）所示； （1）其中η为加权系数。视觉特征和几何特征经过融合后得到融合特征，融合特征既包含源点云和目标点云的的视觉信息，又包含源点云和目标点云的的几何信息；步骤4：将源点云和目标点云的融合特征进行计算特征差值，计算的方法使用最小化特征度量投影误差的方法，计算源点云Y和目标点云X之间的特征差值的公式如公式（2）所示； （2）其中，变换矩阵g包括旋转矩阵R和平移矩阵t，变换矩阵g的初始值设为随机值；步骤5：使用特征度量投影误差r，来估计变换增量g。计算的方法使用逆合成算法来估计每个步骤的变换增量，如公式（3）所示； （3）其中J是变换参数θ的雅可比矩阵，矩阵J的值由有限梯度法可得；步骤6：建立特征解码器，将融合特征输入到由全连接层、批归一化层和激活层组合的特征编码器中，将融合特征恢复到3D点云中，再通过使用估计的变换矩阵g，应用到源点云Y中，与目标点云X通过计算Chamfer距离作为训练损失，训练编码器-解码器模型；步骤7：将新的源点云Y和目标点云X作为步骤1的输入，继续进行后续步骤，迭代进行，直到训练损失收敛输出最终的变换矩阵g的值。

全文数据：

权利要求：

百度查询： 北京工商大学 一种基于融合视觉特征的RGB-D快速无监督配准方法