买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本申请涉及ORB‑SLAM2系统和深度学习实例分割领域，具体提供了一种基于实例分割的语义SLAM方法。该方法的步骤为：S1，获取图像序列；S2，提取特征点信息和语义信息；S3，融合特征点信息和语义信息；S4，动态物体检测与去除；S5，物体级的帧间匹配；S6，物体级的回环检测。该方法能够在场景中准确的识别各种目标，使用目标的类别，包围框，掩膜信息帮助去除动态物体，并使用留下的静态物体更好的帮助系统进行帧间匹配以及回环检测。使用物体级匹配来约束帧间匹配，有效的解决了一些场景下特征点匹配错误导致丢失的情况。本发明方法使用神经网络对场景进行实例分割，在单双目情况下均能有效的识别动态物体，提高了SLAM系统在动态场景下的鲁棒性。

主权项：1.一种基于实例分割的语义SLAM方法，其特征在于，所述方法包括以下步骤：S1，获取图像序列；S2，提取特征点信息和语义信息；S3，融合特征点信息和语义信息；S4，动态物体检测与去除；S5，物体级的帧间匹配；S6，物体级的回环检测；所述步骤S2中所述特征点信息和所述语义信息的提取是同时进行的，所述语义信息的提取通过网络实例分割模块完成，所述网络实例分割为物体级的分割，所述网络实例分割结合了MASK-RCNN网络，所述步骤S2中对所述MASK-RCNN网络进行训练；所述步骤S5使用物体级匹配约束帧间匹配，所述步骤S5采用KM算法寻找最优匹配；所述步骤S5包括如下步骤：S51，首先，计算两帧之间两两物体匹配的权重信息W，即计算两物体包围框的交并比数值，并加上偏移量，然后，令V1为参考帧中所有物体的Index信息，V2为当前帧中所有物体的Index信息，所有的边i,j∈G,其中Wi,j表示V1中的第i个顶点到V2中第j个顶点的匹配权重；用邻接矩阵存储图信息，运用贪心算法初始化顶标，使用匈牙利算法找到完备匹配，若找不到则通过修改顶标，增加边再次寻找，达到完备匹配时则结束，即一一对应关系已找到，所述KM算法中的左子集中的所有顶标都有了对应关系；S52，在匹配好的对应物体内使用KD-TREE数据结构进行特征点细粒度的匹配；同时遍历当前帧与参考帧的词向量，当单词ID相同时，则对特征点进行匹配；S53，匹配成功后，通过上一帧对应特征点对应的三维地图点优化当前帧的位姿信息；S54，对位姿优化成功后，通过将在当前帧的相邻帧关联的三维地图点进行投影，并计算与当前帧对应处特征点的向量距离，若距离小于th，则认为找到了新的一组匹配点，若最终总的匹配点大于30，则认为追踪成功，否则认为丢失，进行重定位；其中，所述th为阈值，所述阈值的表达式为|Plast-Pcurr|th，其中，所述Plast为参考帧对应的特征点，所述Pcurr为当前帧对应的特征点。

全文数据：

权利要求：

百度查询： 西安电子科技大学 一种基于实例分割的语义SLAM方法