买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华南农业大学

摘要：本发明公开了一种视觉识别的香蕉断蕾方法、仿生香蕉断蕾机构、香蕉断蕾机器人及应用，是采用异形几何多目标立体视觉识别方法来识别香蕉串、花蕾和花序轴，然后计算得到香蕉断蕾机构的位姿x,y,z,a,b,c；再利用得到的位姿，通过运动学反解得到香蕉断蕾机器人的机械臂关节电机的转动量和机械臂末端夹持机构的转动量，通过控制系统对机械臂关节电机进行调整，同时控制机械臂末端夹持机构即仿生香蕉断蕾机构进行旋转，使切刀平面与花序轴垂直即实现花蕾与花序轴的法平面切割分离，并对切口进行杀菌消毒，完成香蕉断蕾。本发明可以实现准确自动化香蕉断蕾，无须人工操作，而且所切割出来的切口是水平的。

主权项：1.一种视觉识别的香蕉断蕾方法，其特征在于：采用仿生香蕉断蕾机构进行香蕉断蕾；所述仿生香蕉断蕾机构包括仿生定导向夹指、仿生动导向夹指、切割部件、仿章鱼爪导向环形夹指和夹指底盘；仿生定导向夹指与仿章鱼爪导向环形夹指固定在夹指底盘上；仿生动导向夹指与切割部件分别通过固定在夹指底盘的仿生动导向夹指滑台导轨和切割机构滑台导轨与仿生定导向夹指相连接；所述仿章鱼爪导向环形夹指由弹性材料制成；仿章鱼爪导向环形夹指包括仿章鱼爪主体、通管和仿章鱼吸盘；仿章鱼爪主体的外形为圆锥体沿着母线分开，即含有一个平面和一个圆锥面，圆锥面上有直径不同的圆环包围，平面侧开有圆柱孔，圆柱孔内有螺纹用于连接通管的一端；在仿章鱼爪主体的内部设置有两条气体通道，其中一条气体通道轴向延伸至仿章鱼爪导向环形夹指的末端，径向开有小的气体通道用于使得仿章鱼爪导向环形夹指在径向大小变化，另一条气体通道与平面侧圆柱孔相连用于给仿章鱼吸盘进行充气与吸气；通管的外形为圆柱，圆柱两端有螺纹，用于连接仿章鱼爪主体和仿章鱼吸盘，在圆柱的轴向开有通孔用于实现仿章鱼爪主体和仿章鱼吸盘之间的气体流通；仿章鱼吸盘有一个以上，其安装在仿章鱼爪导向环形夹指的平面侧的轴线上且均匀分布，仿章鱼吸盘的外形为碗状，其碗底的位置开有圆柱孔，在圆柱孔内开有螺纹，用于连接通管的另一端从而与仿章鱼爪主体相连接，在圆柱孔的底端开有通孔用于控制仿章鱼吸盘内部的气压；所述仿生定导向夹指固定在夹指底盘上，其与花序轴接触的位置设计有圆弧结构，其中间的位置有类刀口凹槽，其下部设置有一个以上的喷药口，喷药口分布在仿生定导向夹指的下侧圆弧结构位置以及圆弧结构的两侧；所述仿生动导向夹指包括动夹指、动夹指滑台、力传感器；动夹指由上下两个夹指组成，上下两个夹指通过铰链分别与动夹指滑台相连接；动夹指的中间部分设置有圆弧结构；力传感器安装在动夹指的圆弧结构位置，用于对仿生动导向夹指与仿生定导向夹指对花序轴进行夹持的夹持力进行控制；动夹指滑台通过仿生动导向夹指滑台导轨与仿生定导向夹指相连接；进行香蕉断蕾时包括下述步骤：（1）数据集的采集与制作：首先用双目立体相机采集大量的香蕉串、花蕾和花序轴的彩色图像和深度图像；然后使用标注工具对彩色图像进行标注，即将香蕉串、花蕾和花序轴的区域分别标注出来，形成数据集合；（2）图像分割：设计改进参数的MaskR-CNN实例分割网络对样本素材进行训练，样本图片首先通过特征提取网络得到特征图，对特征图的每一个像素位置设定固定个数的Anchor，用于获取不同尺度的候选框；然后将候选框送入RPN网络，判断该区域是前景还是背景并进行坐标回归，以获得更加精确的ROI区域；由于这些ROI区域尺度不同，对其执行ROIAlign操作，从而得到FeatureMaps，再通过采样得到香蕉串、花蕾和花序轴的掩模图像及其boundingbox；通过设计掩模评分，对预测的掩模和真实的IoU进行评分;（3）获取目标的三维空间点云：通过步骤（2）获得的掩模图像，结合深度图像，即可得到香蕉串、花蕾和花序轴在图像上的位置（u,v）以及对应的深度值d，根据针孔相机和三角测距原理，求得香蕉串、花蕾和花序轴在相机坐标系下的三维点云，再结合彩色图像即可得到香蕉串、花蕾和花序轴的（x,y,z,r,g,b）六个维度的信息；（4）香蕉断蕾机构作业行为的位姿计算：对样本彩色图像中的花序轴和花蕾部分独立剪切，分别根据MaskR-CNN中检测结果得出的boundingbox对其进行剪裁：首先对花蕾图像进行边缘检测，获取图像边缘，再通过设计边缘图像与几何算法融合的新方法，即通过Hough变换计算图像的可能对称轴，然后利用最小二乘法确定花序轴最优对称轴，同时获取到花序轴的轴线方向向量；然后对花蕾图像二值化，由于花蕾图像主要是由红色的花蕾为“前景”部分和绿色的“背景”部分组成，所以将花蕾图片三通道分离，并对RG分量进行通道融合，使前景与背景的差异更大；再使用最大类间方差法进行阈值分割，即可获得花蕾的二值图像，将二值图像分为上下两部分图像，分别提取上下两部分图像的花蕾区域的质心，其连线即为花蕾的对称轴，同时获取到花蕾的对称轴方向向量；花蕾的对称轴u和花序轴的对称轴n必定交于一点，该点为果蒂中点即花蕾和花序轴相连接的部分的中点，由于香蕉断蕾裁剪过程需要沿着垂直花序轴方向进行，因此计算果蒂中点往n方向过9～11cm作一条垂直于n的方向向量，将此方向分解为欧拉角（a,b,c），然后和花序轴点云的质心（x,y,z）一起构成的（x,y,z,a,b,c），即为裁剪时香蕉断蕾机构的位姿；（5）利用得到的位姿，通过运动学反解得到香蕉断蕾机器人的机械臂关节电机的转动量和机械臂末端夹持机构的转动量，通过控制系统对机械臂关节电机进行调整，同时控制机械臂末端夹持机构进行旋转，使切刀平面与花序轴垂直即实现花蕾与花序轴的法平面切割分离，并对切口进行杀菌消毒，完成香蕉断蕾。

全文数据：

权利要求：

百度查询： 华南农业大学 一种视觉识别的香蕉断蕾方法、仿生香蕉断蕾机构、香蕉断蕾机器人及应用