南京大学;江苏图客机器人有限公司陈力军获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉南京大学;江苏图客机器人有限公司申请的专利一种基于点云地图的视觉定位方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN114723920B 。
龙图腾网通过国家知识产权局官网在2025-06-27发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202210455895.2,技术领域涉及:G06T17/20;该发明授权一种基于点云地图的视觉定位方法是由陈力军;刘佳;吉文豪;李文杰;鄢伟设计研发完成,并于2022-04-24向国家知识产权局提交的专利申请。
本一种基于点云地图的视觉定位方法在说明书摘要公布了:本发明提供了一种基于点云地图的视觉定位方法,包括点云地图生成模块、视觉惯性里程计构建模块,以及基于点云地图的视觉匹配定位模块。其中点云地图模块通过融合激光,IMU以及GPS信息建立高精度的点云地图;视觉惯性里程计构建模块先提取视觉特征点,使用光流法追踪前后帧特征点,并对IMU进行预积分,和视觉特征点进行融合,构建视觉惯性里程计,输出每一帧的初始位姿,并恢复特征点的深度;基于已有地图的视觉匹配定位模块根据初始位置从点云地图中提取子图,通过视觉恢复的特征点投影到3D空间地图坐标系下,并在当前子图中查询最近点。对于视觉和地图匹配到的最近点,采用基于对偶四元数的RANSAC算法优化当前帧的位姿。
本发明授权一种基于点云地图的视觉定位方法在权利要求书中公布了:1.一种基于点云地图的视觉定位方法,其特征在于,包括:建立点云地图构建模块、视觉惯性里程计构建模块和视觉匹配定位模块; 所述点云地图构建模块用于,将惯性测量单元IMU、激光和GPS进行融合,实现多传感器融合激光建图; 所述视觉惯性里程计构建模块基于点云地图的视觉定位提供初始位姿,通过融合单目视觉和惯性测量单元IMU,求解每一帧图像的位姿和特征点深度; 所述视觉匹配定位模块基于不同模态的点云和视觉信息,对地图点构建kd-tree,与投影到地图坐标系的特征点匹配后采用基于对偶四元数的粒子滤波器进行定位; 所述点云地图构建模块具体执行如下步骤: 步骤1-1,以激光为基准,将惯性测量单元IMU和GPS数据相对于激光进行对齐,对于每一帧激光点云,使用惯性测量单元IMU进行去畸变处理; 步骤1-2,对惯性测量单元IMU进行惯性解算,解算结果作为卡尔曼滤波的预测更新; 步骤1-3,对于相邻两帧的激光点云,采用最近点迭代ICP计算相对位姿,作为初始位姿,用于后续卡尔曼滤波的观测更新; 步骤1-4,进行卡尔曼滤波预测更新; 步骤1-5,当有新的激光点云帧时,融合机器人运动约束,进行观测更新; 步骤1-6,将当前后验位姿作为下一次的先验,不断迭代求解新的后验位姿,直到最近两次位姿变化不超过第一阈值,即位姿收敛; 步骤1-7,将前三帧均作为关键帧,当当前帧的位姿和上一关键帧的距离相差超过第二阈值时,将当前帧设置为关键帧,作为优化节点加入图优化中,图优化将连续N1帧关键帧的姿态作为优化变量,关键帧中观测到的像素特征点作为图优化的边,特征点的投影误差作为图的代价,通过增大或减小图中节点的姿态,使得图的代价最小; 步骤1-8,当满足以下条件:当前累积关键帧数目超过X1帧或累积GPS数据超过X2帧,或回环检测数达到X3次,进行一次图优化; 步骤1-9,对于关键帧,将关键帧点云转换到地图坐标系下,将第一帧点云的位姿作为地图原点,并对地图进行滤波,得到点云地图; 所述视觉惯性里程计构建模块具体执行如下步骤: 步骤2-1,预处理阶段:在视觉相机每一帧中提取Harris角点,作为视觉特征点,使用Lukas-Kanade光流追踪相邻帧的特征点,并使用RANSAC去除异常追踪点,同时对惯性测量单元IMU数据进行预积分,得到当前时刻的位置、速度和旋转量; 步骤2-2,初始化阶段:仅采用视觉恢复前面一定帧的位姿和特征点深度,最后和IMU预积分对齐求解深度; 步骤2-3,后端优化阶段:将惯性测量单元IMU的误差和视觉误差一起进行非线性优化,优化每一帧的位置、速度、旋转和惯性测量单元IMU参数、特征点位置,输出当前位姿的初始值,输出连续的位姿和视觉特征作为视觉惯性里程计; 所述视觉匹配定位模块具体执行如下步骤: 步骤3-1,对点云地图进行预处理,在匹配前对点云地图进行广度优先搜索BFS聚类,筛去点数少于X4个的点云簇,将整张点云地图分割为长方体的网格,长方体网格的尺寸为40m*40m*40m,并以当前位置所在网格为中心构建子图,子图为5*5*3的网格; 步骤3-2,对于当前相机视觉帧的特征点,在视觉惯性里程计中已经对其深度进行估计,将特征点根据当前帧位姿投影到地图坐标系下,使用kd-tree算法在当前子图中搜索最近的地图点作为匹配对应点; 步骤3-3,设定步骤3-2中视觉特征点在地图中的对应点对数为N,将N对点随机排列,每八对点作为一组,则对应点分成N8组对应点集合; 步骤3-4,使用对偶四元数表示当前帧的位姿,其中qr为旋转四元数,qt为平移表示的四元数,ε为对偶数,满足ε2=0; 设定步骤3-2中正确的匹配点对比例为X5,步骤3-3中8对点的集合作为局内点,采用RANSAC算法估计出当前的位姿; 步骤3-5,使用当前的位姿将视觉特征点投影到地图坐标系,并查询最近点对,重复步骤3-3~步骤3-4,直到最新估计的位姿旋转角度变化不超过第三阈值,且平移不超过第四阈值,或者迭代次数超过第五阈值,输出最终的位姿作为定位结果。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人南京大学;江苏图客机器人有限公司,其通讯地址为:210023 江苏省南京市栖霞区仙林大道163号南京大学;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。