买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：清华大学

摘要：本发明公开了一种基于卷积神经网络的景象匹配导航方法及装置，首先通过航拍实时图特征点追踪得到相对定位信息，然后由卷积网络提取图片深度特征进行图像对准得到的绝对定位信息。采用了逐层细化的定位策略进行优化，完成了整个视觉匹配导航算法的设计。本发明是一套结合深度学习方法的视觉导航系统，并且在多种类型的飞行数据上进行了测试，验证了本发明的可行性以及稳定性，具有良好的工程应用价值。

主权项：1.一种基于卷积神经网络的景象匹配导航方法，其特征在于，包括以下步骤：S1，在无人机系统中搭载定位传感器、俯视相机与机载计算单元，储存带有目标飞行区域真实地理信息的基准地图，并且所述机载计算单元提前部署好训练完成的卷积网络模型；S2，基于所述无人机系统对定位系统进行初始化，通过所述定位系统和定位传感器得到当前无人机系统的飞行位置、飞行航向以及飞行高度三个初始数据，通过所述三个初始数据提取得到首次进行视觉匹配的目标图像区域，以开始视觉匹配导航过程；S3，基于所述视觉匹配导航过程，算法输入端从所述俯视相机读取得到当前时刻无人机的实时航拍图像，基于实时航拍图像之间的相对位姿变化，得到当前实时帧图像绝对位姿信息的单应矩阵，以获得绝对定位结果；S4，基于所述单应矩阵，从所述基准地图中提取与当前无人机飞行区域接近的基准子图，以构成实时图-基准子图图像对；S5，将所述基准子图与所述实时航拍图像进行匹配对准，引入所述基准地图的绝对定位信息优化所述绝对定位结果，以得到最终定位结果；S6，保存所述实时航拍图像及最终定位结果，作为下次定位的相对定位约束信息，等待下一个进行视觉定位的航拍图像输入，得到输入航拍图像之后直接进行所述S3，循环进行图像序列的定位任务；所述S3，包括：S3.1，当t为初始时刻，根据系统输入，获取实时航拍图像It所对应的绝对定位信息，将初始航拍图像作为图像序列定位的迭代初始，进入下一帧的定位过程中提供相对定位约束；S3.2，当t不为初始时刻，It为中间某一时刻的无人机实时航拍图，在相对定位过程中，通过计算It与上一帧实时航拍图It-1之间的相对位姿变化，得到相对单应矩阵结果计算公式为： （1）完全展开得到如下形式： （2）其中，根据图像帧间位置递推得到的相对单应矩阵结合上一帧实时航拍图正确的绝对位姿信息得到表示当前实时帧图像绝对位姿信息的单应矩阵储存当前绝对单应矩阵用于当前帧后续定位过程使用；所述S5，包括：S5.1，采用经过训练之后的VGG16卷积神经网络作为图像对特征提取器，在预先的训练过程中，选择不同时间、季节的城区、郊区的遥感图像，构成待匹配图像对，以模拟实际匹配过程中所面临的季节、光照以及建筑物变化；所述S5，还包括：S5.2，基于所述S5.1中神经网络提取得到的图像特征，设计对于卷积网络特征图的直接法匹配方式，优化目标如下所示： （3）其中，求和符中x∈Ω的含义是所选取的特征点对象x属于某一个点集Ω，点集的区域代表通过卷积网络提取得到的深度特征图的每个像素位置，FIx代表的是实时图I上的x点处的特征，FMWx；p代表的是基准图M上的位置为Wx；p的特征，Wx；p函数代表的是图像特征点变换操作，自变量为目标变换点x，函数中的变换参数为p，Wx；p为进行变换之后的点对象结果，通过变换参数p的选取，优化目标Ep达到阈值，变换参数p为基准地图M与实时航拍图I之间变换的单应矩阵H变换为向量的形式；对于图像变换参数p使用泰勒展开的方式进行迭代求解，得到第一变换参数，所述第一变换参数为与基准卫星地图对准之后得到绝对单应矩阵

全文数据：

权利要求：

百度查询： 清华大学 一种基于卷积神经网络的景象匹配导航方法及装置