买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：上海大学

摘要：本发明涉及移动机器人定位导航技术领域，公开了一种基于实例分割和VSLAM的语义地图构建方法，其步骤为：S1：将获取的RGB图像和深度图进行匹配，得到RGB‑D帧；S2：所有RGB‑D帧逐帧进行位姿估计，找出所有RGB‑D帧中的关键帧；S3：对所有RGB‑D关键帧中的RGB图像逐帧进行实例分割，得到每个RGB‑D关键帧的实例分割结果；S4：将经步骤S3处理后的RGB‑D关键帧转换为点云；S5：创建每个RGB‑D关键帧点云中的实例集合，首先将所有RGB‑D关键帧点云中的实例集合融合到空白的初始实例地图中，得到实例地图；S6：将所有RGB‑D关键帧点云中的背景点云进行融合，得到全局背景点云；S7：对实例地图和全局背景点云进行优化、融合，得到语义地图。本发明的语义地图构建方法构建的语义地图精度高，且可以实现实时构建。

主权项：1.一种基于实例分割和VSLAM的语义地图构建方法，其特征在于，包括以下步骤：S1：将从RGB-D相机中获取的RGB图像和深度图按时间戳进行匹配，得到RGB-D帧，每个RGB-D帧由时间戳相同的RGB图像和深度图组成；S2：采用VSLAM算法对所有RGB-D帧逐帧进行位姿估计，根据位姿估计结果选择RGB-D帧中的关键帧，记作RGB-D关键帧；S3：采用训练好的实例分割模型对所有RGB-D关键帧中的RGB图像逐帧进行实例分割，得到每个RGB-D关键帧的实例分割结果，所述实例分割结果包括RGB图像中各实例的语义类别和序号；S4：将经步骤S3处理后的RGB-D关键帧转换为点云；S5：创建每个RGB-D关键帧点云中的实例集合，按时间戳的先后顺序，首先将第一RGB-D关键帧点云中的实例集合插入到空白的初始实例地图中，然后依次将剩余的RGB-D关键帧点云中的实例集合融合至初始实例地图中，得到实例地图；S6：创建每个RGB-D关键帧点云中的背景点云，然后将所有RGB-D关键帧点云中的背景点云进行融合，得到全局背景点云；S7：分别对实例地图和全局背景点云进行优化，然后将优化后实例地图和优化后全局背景点云进行融合，得到语义地图；步骤S5中创建每个RGB-D关键帧帧点云中物体实例集合的具体操作为：S51：针对一个RGB-D关键帧点云，遍历点云中的每一个三维点，根据三维点对应的实例语义类别和实例序号提取出每个实例点云；S52：对于一个实例点云，采用欧式距离聚类分割算法对实例点云进行聚类分割处理，然后计算聚类分割后的实例点云的长、宽、高、中心坐标，得到实例点云的三维包围框，即完成所述实例点云对应的实例构建；S53：将一个RGB-D关键帧点云构建的所有实例组合在一起，即得到RGB-D关键帧的实例集合；步骤S52中所述实例的表示属性为：实例的语义类别、序号、几何信息、点云和观测字典；所述几何信息包括实例的长、宽、高、中心坐标；所述观测字典的键值对为实例的序号和观测次数，所述观测次数为实例在所有RGB-D关键帧中出现的次数；步骤S7中对实例地图进行优化的方法为：先对实例地图进行非极大值抑制处理，然后再进行点云对齐处理，得到优化后的实例地图；对全局背景点云进行优化的方法为：先采用体素滤波算法对全局背景点云进行处理，然后再进行点云对齐处理，得到优化后的全局背景点云；所述点云对齐处理的具体操作为：采用随机抽样一致算法拟合点云中最大的平面，得到拟合平面；根据拟合平面的法向量构造旋转矩阵，根据旋转矩阵将点云旋转至法向量与z轴对齐，再将拟合平面沿着z轴平移至世界坐标系中的xy平面；然后以xy平面作为分割面，计算分割面两侧的点云数量，根据分割面两侧的点云数量判断是否将点云进行翻转，若分割面上方的点云数量小于分割面下方的点云数量，则将点云沿所述xy平面进行翻转，即完成点云对齐处理；所述旋转矩阵的构造方法为：1采用随机一致算法拟合点云中最大的平面，得到拟合平面，拟合平面的方程为ax+by+cz+d＝0，将拟合平面的法向量记作p1＝x1，y1，z1，将法向量p1到Z轴的单位向量记作p2＝x2，y2，z2，将原点记作p3＝x3，y3，z3＝0，0,0，根据p1、p2、p3三点确定一个平面p1-p2-p3，平面p1-p2-p3即为p1到p2的旋转平面，计算平面p1-p2-p3的法向量n，法向量n即为p1到p2的旋转轴；由于n与p1p2、p1p3垂直，采用p1p1与p1p3的叉积来求解法向量n，法向量n的计算公式如下所示； a＝y2-y1*z3-z1-y3-y1*z2-z1b＝z2-z1*x3-χ1-z3-z1*x2-χ1c＝x2-χ1*y3-y1-χ3-χ1*y2-y1其中，i表示X轴上的方向向量，j表示Y轴上的方向向量，k表示Z轴上的方向向量；2计算p1到p2的旋转轴的旋转角θ，旋转角θ的计算公式如下所示；p1*p2＝|p1|*|p2|*cosθ 3根据罗德里格斯公式计算得到旋转矩阵，旋转矩阵的计算公式如下所示：R＝cosθI+1-cosθnnT+sinθn^其中，R表示旋转矩阵，θ表示旋转角，I表示单位向量，T表示向量的转置，符号Λ表示向量到反对称的转换符。

全文数据：

权利要求：

百度查询： 上海大学 一种基于实例分割和VSLAM的语义地图构建方法