买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明涉及一种基于室内动态场景的语义SLAM方法，包括以下步骤：1加载二进制格式词袋；2将RGB‑D相机采集到的RGB图像，通过SegFormer语义分割网络分割出场景中的动态物体；同时对RGB图像进行特征点提取；3根据步骤2中提取特征点数目的不同，自动调整语义分割结果使用的膨胀核；4结合步骤3中膨胀后的掩膜信息，剔除动态特征点；5通过步骤4中得到的静态特征点，在动态场景下进行相机位姿估计；同时根据深度图像构建稠密点云地图。本发明方法使用二进制格式词袋进行系统初始化，SegFormer语义分割网络对场景进行语义分割，在RGB‑D情况下能有效剔除环境中的动态物体，并构建静态特征的稠密点云地图。

主权项：1.一种基于室内动态场景的语义SLAM方法，其特征在于，包括以下步骤：1加载二进制格式词袋；2将RGB-D相机采集到的RGB图像，通过SegFormer语义分割网络分割出场景中的动态物体；同时对RGB图像进行特征点提取；3根据步骤2中提取特征点数目的不同，自动调整语义分割结果使用的膨胀核；4结合步骤3中膨胀后的掩膜信息，剔除动态特征点；5通过步骤4中得到的静态特征点，在动态场景下进行相机位姿估计；同时根据深度图像构建稠密点云地图；所述步骤3具体实现如下：对于步骤2中得到的特征点和语义分割结果，统计提取到的特征点数量，并根据特征点数量自动调节使用膨胀核的系数，特征点数量越多则膨胀核系数越大，反之则越小，使用可变膨胀核对语义分割结果进行膨胀处理；至此完成对语义分割网络分割结果的膨胀处理和特征点的提取，将处理后的语义分割网络分割结果和提取得到的特征点分别保存；所述步骤4具体实现如下：利用步骤3获得到的膨胀结果，筛选出位于语义标签为“人”和“椅子”区域的像素，称其为动态区域；利用动态区域在图像中像素位置的分布，对步骤3中保留的特征点进行筛选，将位于动态区域的特征点剔除，最终得到静态特征点；所述步骤5具体实现如下：在得到静态特征点之后，同步开启四个线程：跟踪线程、局部建图线程、回环检测线程和稠密建图线程，其中，跟踪线程先根据静态特征点完成相机位姿和地图点的初始化，之后选择参考关键帧跟踪，当跟踪丢失的时候启动重定位跟踪，经过局部地图跟踪对位姿进行进一步优化，同时会根据条件判断是否需要将当前帧新建为关键帧；局部建图线程中输入的关键帧来自跟踪线程里新建的关键帧，为了增加局部地图点数目，局部地图里关键帧之间会重新进行特征匹配，生成新的地图点，局部BA会同时优化共视图里的关键帧位姿和地图点，优化后删除不准确的地图点和冗余的关键帧；回环检测线程通过二进制格式词袋来查询数据集检测是否形成闭环，计算当前关键帧和闭环候选关键帧之间的Sim3位姿，执行闭环融合和本质图优化，使得所有关键帧位姿更准确；稠密建图线程根据静态特征点以及RGB-D相机采集到的深度图像，生成在相机坐标系下的静态特征点云，再将点云变换到世界坐标系进行点云拼接和点云优化，保存为全局点云地图；稠密点云地图构建过程如下：首先将输入的关键帧所对应的RGB图像和SegFormer语义分割结果与深度图数据进行匹配，利用深度信息和像素位置信息得到在相机坐标系下的点云，再将此点云变换到世界坐标系保存为全局点云地图，全局BA后用更新的位姿调整全局点云地图，计算点云坐标的数学公式为： 其中R和t分别是相机的旋转向量和平移向量，K是相机的内参矩阵，s是深度尺度，取固定值。假设深度值d和像素位置u,v已知，就可以计算出点云的空间坐标x,y,z，最终空间坐标与像素坐标的转换关系为： 以此构建稠密点云地图。

全文数据：

权利要求：

百度查询： 桂林电子科技大学 广西产研院时空信息技术研究所有限公司 一种基于室内动态场景的语义SLAM方法