买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：上海工程技术大学

摘要：本发明涉及一种单目视觉里程计方法和系统。该方法采用光流预测网络获取光流图像，并在挑选得到第一特征点对后，将图像序列数据输入至深度预测网络得到深度信息图，再将图像序列数据输入至深度预测网络生成刚性光流；接着，生成第二特征点对后，结合刚性光流作为约束条件训练光流预测网络；然后，采用训练好的光流预测网络获取图像序列数据中相邻两帧图像间的光流，并在挑选得到第三特征点对后，从图像序列数据中随机挑选部分帧，根据所述深度信息图和第三特征点对通过PNP或对极几何方式求解位姿，剩余部分帧根据所述深度信息图和第二特征点对通过PNP或对极几何方式求解位姿，以通过融合传统几何和深度学习的方式使得精度更高、鲁棒性更强。

主权项：1.一种单目视觉里程计方法，其特征在于，包括：获取图像序列数据；采用光流预测网络获取所述图像序列数据中相邻两帧图像间的光流，并根据前后光流一致性挑选得到第一特征点对；将所述图像序列数据输入至第一深度预测网络得到深度信息图；所述第一深度预测网络包括：深度预测子网络和位姿估计网络；所述深度预测子网络采用U-Net编码器-解码器结构；所述位姿估计网络采用ResNet18网络结构；将获取的图像序列数据输入至第二深度预测网络生成3D场景流，并将所述3D场景流进行平面投影得到2D光流，将所述2D光流命名为刚性光流；所述第二深度预测网络包括：新深度预测网络和位姿估计网络；所述新深度预测网络为优化后的深度预测子网络；采用特征点法提取所述图像序列数据中特征点，并采用快速最近邻匹配算法基于所述特征点生成第二特征点对；获取第二特征点对中像素点的匹配点和第一特征点对中像素点的匹配点，并确定所述第二特征点对中像素点的匹配点和所述第一特征点对中像素点的匹配点间的欧式距离，将所述欧式距离作为第一约束条件；将光流预测网络生成的光流定义为光流A，确定所述刚性光流和所述光流A间的误差，并将所述误差作为第二约束条件；基于所述第一约束条件和所述第二约束条件生成总约束条件；基于所述总约束条件训练所述光流预测网络，得到训练好的光流预测网络；采用所述训练好的光流预测网络获取所述图像序列数据中相邻两帧图像间的光流，并根据前后光流一致性挑选得到第三特征点对；从图像序列数据中随机挑选部分帧，根据所述深度信息图和第三特征点对通过PNP或对极几何方式求解位姿，剩余部分帧根据所述深度信息图和第二特征点对通过PNP或对极几何方式求解位姿。

全文数据：

权利要求：

百度查询： 上海工程技术大学 一种单目视觉里程计方法和系统