买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：电子科技大学(深圳)高等研究院

摘要：本发明公开了无人机多层特征尺度稳定器的单目视觉里程计方法，涉及单目视觉里程计技术领域，包括以下步骤：S1、通过单目相机获取多个单目视觉图像，对获取的多个单目视觉图像进行图像预处理，图像预处理包括灰度化和自适应直方图均衡，S2、构建多层特征提取模型，多层特征提取模型包括基于深度学习的目标分割网络、基于孪生网络形态的帧间特征区域匹配模型和ORB特征点提取算法。本发明通过使用多层特征提取模型，并将跟踪目标尺寸作为顶层先验特征基线值，有效提取空间尺度信息，辅助解决单目视觉中的尺度模糊问题，通过多层次特征提取和基线更新可以减小尺度不确定性带来的失真，从而提高尺度的估计精度。

主权项：1.无人机多层特征尺度稳定器的单目视觉里程计方法，其特征在于，包括以下步骤：S1、通过单目相机获取多个单目视觉图像，对获取的多个单目视觉图像进行图像预处理，图像预处理包括灰度化和自适应直方图均衡；S2、构建多层特征提取模型，多层特征提取模型包括基于深度学习的目标分割网络、基于孪生网络形态的帧间特征区域匹配模型和ORB特征点提取算法；所述步骤S2中，基于深度学习的目标分割网络包括编码器和解码器，编码器包括DCNN结构和ASPP结构，ASPP结构包括一个1×1卷积、三个3×3空洞卷积和一个池化层，三个3×3空洞卷积空洞率分别为6、12和18，DCNN结构用于对多个单目视觉图像进行采样，以获得相应的特征图，解码器包括一个1×1卷积、一个拼接层和一个3×3的卷积；按照如下公式训练所述基于深度学习的目标分割网络的编码器： 其中，表示损失函数，表示预测框与真实框的重叠面积，表示，表示预测框，表示真实框，，表示与相关的系数，，表示常数，表示预测框与真实框的最小矩形的对角线距离，表示预测框的宽和高，表示真实框的宽和高，表示常数；按照如下公式训练所述基于孪生网络形态的帧间特征区域匹配模型： 其中，表示重建图像损失，表示相邻帧有效共视区域，表示结构相似度，表示输入图像，表示得到的合成图像，表示固定，表示图像像素坐标； 其中，表示深度一致性损失，表示光流和深度的共同有效区域，表示得到的从图像k+1到k的深度预测，表示图像像素坐标；S3、将预处理后的多个单目视觉图像输入多层特征提取模型，通过基于深度学习的目标分割网络对单目视觉图像进行动态分割和边缘线提取，通过基于孪生网络形态的帧间特征区域匹配模型对单目视觉图像的帧间特征区域进行提取，通过ORB特征点提取算法对单目视觉图像中的ORB特征点进行提取；S4、在基于深度学习的目标分割网络中，利用目标尺寸信息作为第一基线尺度，在基于孪生网络形态的帧间特征区域匹配模型中，在多帧之间选取置信度高的特征作为第二基线尺度，在ORB特征点提取算法中，选取特定的ORB特征点作为第三基线尺度；S5、利用帧间特征区域对ORB特征点的提取进行约束，并对基于深度学习的目标分割网络分割后的动态分割区域进行屏蔽；S6、根据ORB特征点解算出相机位姿数据，并根据基于深度学习的目标分割网络中目标二维平面的投影关系以及其第一基线尺度，对第二基线尺度和第三基线尺度进行估计与传递；S7、利用随机一致性算法剔除帧间特征区域中的错误匹配，并通过带有尺度加权和逻辑判别的尺度更新器实现最终尺度值的更新。

全文数据：

权利要求：

百度查询： 电子科技大学(深圳)高等研究院 一种无人机多层特征尺度稳定器的单目视觉里程计方法