买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京化工大学

摘要：本发明公开了一种融合动态目标感知的多机联合建图方法，属于三维视觉领域。首先，采用基于YOLACT和DeepSORT的多目标跟踪算法，在机器人端对连续采集的RGB图像帧进行潜在动态目标跟踪，并结合光流法分析目标运动状态，进而剔除动态特征点；其次，基于图像帧中的静态特征点和IMU数据，采用紧耦合的视觉惯性里程计进行相机位姿跟踪，并投影关键帧上的静态特征点到三维空间，从而增量式构建单机的静态子地图；再次，在服务器端接收子地图数据和关键帧数据以重建子地图，并基于词袋模型进行不同子地图之间的回环检测；最后，基于位姿图融合算法在服务器端实现全局一致的相机位姿估计和地图融合。本发明提升了多机协同视觉联合建图方法在动态场景下的鲁棒性，实现了全局一致的地图构建。

主权项：1.一种融合动态目标感知的多机联合建图方法，其特征在于，该方法包括如下步骤：步骤1：融合动态目标感知的图像预处理阶段，该阶段连续采集RGB图像帧作为输入，完成对图像帧数据中动态干扰对象的实例分割和持续跟踪，ORB特征点提取，区分静态特征点和动态特征点，并将图像帧和静态特征点传输到下一阶段；步骤2：利用机器人端连续获取的IMU传感器数据和预处理后的图像数据，在机器人端运行视觉惯性里程计实现当前时刻机器人位姿估计，同时运行稀疏点云地图重建模块，利用机器人当前更新的关键帧Ki的位姿，将当前关键帧中的静态特征点映射到子地图中，实现单机子地图增量式构建，同时将新增的关键帧和新增的子地图数据通过WiFi传输到服务器端；步骤3：服务器端全局一致的位姿关联和联合建图，该阶段用于接收机器人端上传的子地图和关键帧数据，在服务器端重新恢复子地图，并采用词袋模型进行回环检测，完成子地图的优化和不同机器人之间的位姿关联，生成全局地图；步骤1进一步包括如下步骤：步骤1.1：通过机器人上的相机连续获取RGB图像帧序列；基于深度学习神经网络框架YOLACT，对图像帧中的潜在的随机动态干扰对象进行实例分割和预测框提取，并对图像帧中分割的随机动态干扰对象覆盖掩膜；动态干扰对象由图像帧中的像素级的实例分割表示来表征；对提取到动态干扰对象的预测框采用DeepSORT进行目标跟踪，对预测到的行人目标进行跟踪并生成对应的行人ID；步骤1.2：提取图像帧中ORB特征点，计算特征点的描述子；步骤1.3：基于步骤1.2提取的ORB特征点，使用光流法提取图像帧中的动态特征点，若提取的动态特征点在步骤1.1中动态干扰对象实例分割掩膜范围内，则将其判断为表征随机动态干扰对象的动态特征点，ORB特征点中除了表征随机动态干扰对象的动态特征点的其他特征点即为静态特征点；步骤2进一步包括如下步骤：步骤2.1：持续接收IMU和预处理后图像数据，并将预处理后的图像帧和IMU数据时间戳同步，其中，预处理后图像数据指原始图像帧以及静态特征点；从预处理后的图像帧中选取匹配到足够数量静态特征点的两个连续图像帧为初始关键帧K0和K1，三角化两个初始关键帧上的静态特征点，进而初始化子地图；步骤2.2：根据时间戳同步后的图像帧和IMU数据，构建视觉惯性里程计，估计机器人位姿；步骤2.3：运行稀疏点云构建模块，根据图像帧间的共视关系更新关键帧，并利用更新后关键帧Ki上的静态特征点和2.2估计得到的机器人位姿信息生成新的地图点，将新的地图点映射到三维的子地图中，不断更新子地图；步骤2.4：将更新后的关键帧数据和更新后的子地图数据上传服务器端；步骤3进一步包括如下步骤：步骤3.1：持续接收机器人端的位姿和关键帧数据，在服务器端重新恢复子地图；恢复的子地图中包含地图点和关键帧序列，关键帧与关键帧之间的IMU约束，关键帧和地图点之间的观测模型；步骤3.2：采用词袋模型进行回环检测，将上传的关键帧数据和服务器端保存的关键帧序列进行匹配，若当前上传的关键帧，与匹配到的、服务器中保存在关键帧序列中的关键帧，均在当前关键帧所在的子地图内，则采用BA方法对子地图进行地图点和关键帧位姿的优化；若匹配到的关键帧不在当前上传关键帧所在的子地图内，则计算两个匹配关键帧之间的三维变换关系，通过该三维变换关系，将子地图转换到同一坐标系下，生成全局地图，采用BA方法进行全局地图关键帧位姿优化和地图点优化；步骤3.3：对3.2生成的全局地图进行冗余关键帧和地图点的剔除，遍历全局地图范围内的所有关键帧，根据特征点的共视冗余度剔除冗余的关键帧和重复的地图点，运行全局BA方法，优化并更新全局地图和机器人位姿。

全文数据：

权利要求：

百度查询： 北京化工大学 一种融合动态目标感知的多机联合建图方法