买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华南农业大学

摘要：本发明公开了一种基于机器视觉的果实检测定位与果园地图构建方法，该方法利用采用搭载有RGBD相机的移动机器人实现水果果实目标检测、计数以及采摘定位，同时将视觉里程计信息以及激光雷达的点云信息数据进行融合，采用非线性优化方法实现用于果园环境中的SLAM建图与定位；之后基于多线程编程方法将两个线程融合，从而实现应用于实际果园环境中的移动机器人实时果实检测定位与全局建图与自定位，并基于构建完成的果园语义地图实现移动机器人在果园中的全局路径规划功能。依靠该方法能够实现智能化果园巡航、智能化果园产量预估以及采摘机器人果园环境感知等应用领域，能够较好地助力传统果园种植产业向自动化、智能化方向转型升级。

主权项：1.一种基于机器视觉的果实检测定位与果园地图构建方法，其特征在于，包括以下步骤：S1，在移动机器人平台上搭建基于深度相机的图像采集装置，利用该装置获取动态果园环境中的RGB彩色果实图像，以及所述果实图像中各位置的深度信息；S2，将所述RGB彩色果实图像送入目标检测网络进行果实目标的个体检测，输出果实目标的检测结果；S3，根据所述果实目标的检测结果中的果实中心点距离移动机器人平台自身坐标系的相对角度，利用深度信息获取相机视野内各个果实的相对距离，从而在移动过程中实时更新相机视野内检测出的各个果实相对于移动机器人平台的方位信息，得到视野内果实与移动机器人之间的相对位姿；S4，在S1-S3执行的同时，并行开始建图线程，并建立系统SLAM运动模型；S5，建立最小二乘法损失函数，最小二乘优化目标为求取当损失函数取得最小值时机器人位姿状态的最大似然估计；S6，基于所述各个果实相对于移动机器人平台的方位信息来确定激光雷达扫描区域，使用激光雷达扫描获得果实位置的点云信息并与深度信息进行配准从而获得复杂野外环境下更加精准的融合深度信息；S7，利用视野内果实与移动机器人之间的相对位姿，来遍历并定位距离移动机器人最近的果实目标，根据所述融合深度信息获得该果实目标与机器人之间的相对位姿，以该目标与机器人之间的相对旋转角度来确定下一时刻移动机器人运动与建图方向，同时更新机器人视觉里程计数据，获取机器人在k时刻基于视觉里程计的相机位姿与对应的果实图像观测的目标点，在更新的过程中同步更新最小二乘法损失函数；S8，在机器人运动过程中确定果实图像的关键帧并计算ORB特征描述子进行不同果实目标的匹配，若果实目标在之前从未被观测过，则在局部地图中加入该果实，并对果实进行标记；机器人运动过程中将更多的地图点投影到关键帧中以寻找更多的匹配点，映射出机器人在不同时刻处于不同位姿下的局部地图，并输出构成该局部地图的一组关键帧；在输出关键帧的同时，并行启动所述的果实目标的个体检测过程，利用线程锁机制在不影响建图线程以及系统整体运行效率的前提下，为每一个关键帧输出对应的果实语义信息以及检测框，将含有果实语义信息的关键帧进行输出并融合成为具语义信息的局部地图；S9，建立迭代模型求解使所述最小二乘法损失函数最小化的位姿信息，将该位姿信息作为当前时刻的位姿输出，并返回步骤S7，从而获得机器人在运动过程中的位姿变化数据，并利用位姿变化数据与各时刻所选取的关键帧的变化过程生成移动机器人的局部运动轨迹，实现移动机器人自定位与果园建图功能；所述目标检测网络包括特征提取模块以及多组相同的图像金字塔结构；所述特征提取模块包括4层卷积单元C1-C4来提取不同尺度的图像特征；所述彩色果实图像作为C1卷积单元的输入信息，C1卷积单元的输入特征图作为C2卷积单元的输入，C2卷积单元输出的特征图作为下一层的输入，以此类推；所述图像金字塔结构包括第一组图像金字塔模块G1-1-G1-5,第二组图像金字塔模块G2-1-G2-5,第三组图像金字塔模块G3-1-G3-5和第四组图像金字塔模块G4-1-G4-5，每一组特征金字塔包含五层图像金字塔卷积层，其中，第一组图像金字塔模块中G1-1卷积层的输入为特征提取模块C1卷积单元的输出特征图，G1-2-G1-4的输入为卷积单元C2-C4的输出与上一卷积层图像金字塔卷积层的输出相加的结果，G1-5卷积层的输入为前一卷积层图像金字塔卷积层G1-4的输出；后续三组图像金字塔模块中，每个图像金字塔卷积层的输入为上一层的输出以及前一组金字塔模块中对应层的输出进行融合后的结果。

全文数据：

权利要求：

百度查询： 华南农业大学 基于机器视觉的果实检测定位与果园地图构建方法