买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京辉羲智能信息技术有限公司

摘要：本发明涉及一种基于连续时间模型的多相机视觉惯性里程计优化方法，包括以下步骤：S1‑S4、收集处理传感器数据，进行特征点提取和跟踪；S5、如果没有初始化，则进行所述多相机视觉惯性里程计初始化，构建初始特征地图，基于B样条曲线的连续时间轨迹模型，对多相机运动轨迹进行参数化；S6、如果所述多相机视觉惯性里程计已经初始化，则当前多相机图像帧利用IMU积分得到位姿初值，并加入滑窗大小为N的滑动窗口内进行非线性优化，以滑窗内的所有轨迹控制点位姿，特征逆深度，每个相机的行延迟以及相机和IMU传感器间的时移作为估计状态量，并以IMU预积分误差和特征点重投影误差为误差项，迭代估计最优的位姿。有益效果是同时克服相机共视约束、卷帘效应。

主权项：1.一种基于连续时间模型的多相机视觉惯性里程计优化方法，其特征在于包括以下步骤：S1、收集传感器数据，包括惯性测量单元输出的加速度和角速度数据、简称IMU数据，以及多相机同步采集的多张图像数据、简称多相机图像帧，并缓存在缓存队列中；S2、传感器数据预处理，构造当前多相机图像帧和前一多相机图像帧帧间状态量约束；S3、基于深度学习神经网络对当前多相机图像帧进行图像感知，得到移动物体的语义感知结果，并生成移动物体图像掩膜，所述移动物体图像掩膜用于特征点提取和跟踪时剔除移动物体区域的特征点；S4、取出当前多相机图像帧和前一多相机图像帧进行特征点提取和跟踪，得到前后多相机图像帧特征点关联数据以及当前多相机图像帧内多相机间特征点关联数据；S5、如果所述多相机视觉惯性里程计没有初始化，则进行所述多相机视觉惯性里程计初始化，构建初始特征地图，在任意时间将多相机图像帧和IMU数据进行关联，对齐IMU坐标系和视觉局部坐标系，同时基于B样条曲线的连续时间轨迹模型，对多相机运动轨迹进行参数化，执行步骤S2；S6、如果所述多相机视觉惯性里程计已经初始化，则当前多相机图像帧利用IMU积分得到位姿初值，并加入滑窗大小为N的滑动窗口内进行非线性优化，以滑窗内的所有轨迹控制点位姿，特征逆深度，每个相机的行延迟以及相机和IMU传感器间的时移作为估计状态量，并以IMU预积分误差和特征点重投影误差为误差项，迭代估计最优的位姿，执行步骤S2；步骤S4具体包括以下子步骤：S41、如果所述多相机视觉惯性里程计没有初始化，则首先计算多相机间的公共重叠区域；S42、完成当前多相机图像帧和前一多相机图像帧帧间特征点提取和跟踪；S43、在时序上得到多相机各自当前多相机图像帧和前一多相机图像帧帧间特征点关联数据，将当前多相机图像帧和前一多相机图像帧帧间特征跟踪得到的新特征点进行相机间的交叉匹配，得到当前多相机图像帧内多相机间特征点关联数据，实现空间上跨相机的特征跟踪；S44、最后进行特征点筛选，根据特征点的分布情况和特征点的跟踪长度对特征进行筛选，剔除跟踪长度短和分布比较集中的特征点，维持每个相机图像帧特征点数量稳定。

全文数据：

权利要求：

百度查询： 北京辉羲智能信息技术有限公司 一种基于连续时间模型的多相机视觉惯性里程计优化方法