买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西北工业大学

摘要：本发明涉及一种基于深度混合相机阵列无人机自主视觉降落方法，属于无人机技术领域。该方法充分结合了RGB‑D深度相机近距离深度估计准、低纹理场景工作良好和双目彩色相机中远距离双目深度计算范围广的优势，解决了无人机通过视觉传感器在不同高度定高的问题，克服了单一相机的局限性。本发明提出了虚拟mark构造方法，解决了无人机在高空无法通过视觉检测地面微小mark标志物而无法定位的问题。本发明采用单目深度图恢复的三维点与双目彩色图立体匹配计算出的三维点云构建多深度特征信息的融合地图，在中低空通过融合搭建的相机阵列测量的高度信息，实现无人机通过纯视觉传感器进行高精度全方位的自主降落。

主权项：1.一种基于深度混合相机阵列无人机自主视觉降落方法，其特征在于步骤如下：步骤1：搭建深度混合相机阵列使用两个RGB-D深度相机搭建相机阵列，利用其左右两路彩色相机通过联合标定组合成一个双目相机，用于在中高空远距离进行立体匹配测距，实现无人机在中高空的视觉定高；同时利用单个RGB-D深度相机的深度图完成无人机在低空的视觉定高；然后将该装置通过三轴自稳云台挂载在无人机平台做实验测试，通过该装置获取两路主动光测量的深度图和左右两路彩色图像；步骤2：数据采集与离线标定首先设置一个由多个不同编号的mark组合而成的mark阵列，在降落区域选择停机坪mark的四个标记点，并记录该四个标记点的世界坐标；然后使用步骤1中的装置在降落点采用垂直起降方式在一定范围内采集RGB图像数据库与深度图数据库；通过对左右彩色相机标定，获取相机内参、畸变系数与左右RGB-D相机间的外参，进一步可将左右两路独立的彩色相机组合成一个双目相机，用于无人机在中高空进行立体匹配测距；步骤3：多尺度虚拟标记点地图建立以真实降落区mark为基础，无人机从低到高垂直采集mark图像，根据mark所占画面比放大真实mark世界坐标，建立多个以虚拟mark图像数据构建的地图用于无人机降落阶段视觉导引；所述地图包括数据内容有图像编号，图像数据，图像特征点集，图像相对于mark的位姿RT，图像对应的虚拟或真实mark像素坐标和世界坐标；步骤4：基于多深度特征信息视觉定高采用相机阵列计算出的有效点云估计无人机的高度，在低空阶段使用RGB-D直接输出的三维点云，在中高空利用左右RGB-D深度相机采集同步的RGB图像数据进行双目立体匹配计算生成三维点云；通过点云平面拟合算法获取相机中心区域的平面，结合虚拟标记点范围，剔除点云中非平坦区域外点，仅保留平坦区域内点，最后根据平坦区域内点计算平均深度最为无人机当前有效高度；最后利用图像匹配计算位姿并根据位姿融合多张图片的深度信息，参与建立用于视觉导航降落的地图数据集；步骤5：利用构建的虚拟标记点地图定位降落首先分别提取相机阵列采集的左右RGB图上的特征点并进行特征匹配从而三角化出三维点云，并根据三维点云构造出当前图像的深度图，进而初步判定无人机距离地面高度；若高度在RGB-D相机深度图有效测距范围内，则使用深度相机的估算高度为真实有效高度；否则采用双目相机估计出来的深度作为有效高度；根据高度进行mark定位，如果在真实mark有效检测范围内采用直接检测方法定位，否则从地图数据集选取最近图像进行虚拟mark进行定位；通过真实和虚拟mark定位控制无人机靠近降落区域中心位置，通过相机阵列计算的深度信息控制无人机在垂直方向降落，两者交互最终实现无人机视觉自主降落。

全文数据：

权利要求：

百度查询： 西北工业大学 基于深度混合相机阵列无人机自主视觉降落方法