买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：安阳工学院

摘要：本发明公开了一种基于视觉的二指机械手工件抓取方法，采用图像配准方法确定被抓取工件的粗略位置，并提取目标区域，控制二指机械手移动到被抓取工件上方；根据提取目标区域与预设的遮罩模板匹配，根据遮罩图像确定被抓取工件的精确位置和最优的抓取位姿；采用贝塞尔曲线确定二指机械手运动轨迹，将工件从工件抓取区放置在目标位置；重复上述步骤，直至检测不到待抓取工件。本发明使用图像配准的方法估计被抓取工件的粗略位置，有效的提高了定位的速度；进而在估计最优抓取位姿时，使用遮罩模板的方法再一次精确估计工件的定位；在二指机械手移动时采用时间最优的规划方法，能够有效提高抓取的效率。

主权项：1.一种基于视觉的二指机械手工件抓取方法，其特征在于：包括以下步骤：采用图像配准方法确定被抓取工件的粗略位置，并提取目标区域，控制二指机械手移动到被抓取工件上方；根据提取目标区域与预设的遮罩模板匹配，根据遮罩图像确定被抓取工件的精确位置和最优的抓取位姿；采用贝塞尔曲线确定二指机械手运动轨迹，将工件从工件抓取区放置在目标位置；重复上述步骤，直至检测不到待抓取工件；所述图像配准方法包括深度相机拍摄工件抓取区后输出RGB-D图像后，结合给定工件的图像，提取ORB特征，并提取目标区域，进而实现图像配准；所述图像配准方法具体过程为：深度相机拍摄工件抓取区后输出RGB-D图像；对RGB-D图像进行ORB特征识别；在ORB算法中引入图像金字塔技术，对RGB-D图像进行ORB特征识别；提取目标区域：确定待抓取工件的几何中心后提取目标区域；根据工件在机械臂坐标系中的几何中心坐标，控制机械臂的末端执行器二指机械手移动至该工件上方；所述根据提取目标区域与预设的遮罩模板匹配，根据遮罩图像确定被抓取工件的精确位置和最优的抓取位姿；包括：根据预设阈值生成被抓取工件的二值化图像，构建遮罩图像集合；根据二值化图像和遮罩图像集合确定被抓取工件的精确位置和最优的抓取位姿；所述根据预设阈值生成被抓取工件的二值化图像，包括：设定深度相机距离工件的表面距离阈值为h，根据h及提取目标区域生成待抓取工件的二值化图像M，二值化图像M的每个像素值计算公式为： 其中，Hx，y为图像坐标系x，y处的深度信息；所述构建遮罩图像集合过程为：按照二指机械手剖面俯视图制作遮罩图像A0，将遮罩图像A0旋转πiNi＝1，…，N，产生遮罩图像集合Aii＝0，…N；所述根据二值化图像和遮罩图像集合确定被抓取工件的精确位置和最优的抓取位姿，包括：根据遮罩图像集合Aii＝0，…N以及待抓取工件区域二值化图像M，通过卷积运算或按位与运算得到第i个遮罩图像与抓取目标形成的目标函数；其中，卷积运算公式为：Gi＝Ai·M·g其中，·代表卷积运算，g代表高斯卷积核，Gi为第i个遮罩图像与抓取目标形成的目标函数；根据卷积运算公式构造目标函数 其中，按位与运算公式为：Gi＝Ai*M·g其中，*表示按位与运算，g代表高斯卷积核，Gi为第i个遮罩图像与抓取目标形成的目标函数；其中，[x*，y*]T即为最优抓取位置在图像坐标系下的坐标，i*为获取最优抓取坐标时对应的遮罩图像编号，G＝{G0，G1，…，GN}为集合形式的目标函数；计算出来的最大值参数[x*，y*，i*]，由图像坐标系坐标[x*，y*]T和内参矩阵得到相机坐标系下的坐标进而计算得到机械臂坐标系下的最优抓取坐标，根据α＝πi*N得到机械臂末端二指机械手旋转的角度，即α＝πi*N为最优的抓取位姿；采用贝塞尔曲线确定二指机械手运动轨迹，将工件从工件抓取区放置在目标位置，包括：根据被抓取工件的精确位置和最优的抓取位姿，二指机械手抓取工件，根据贝塞尔曲线确定的二指机械手运动轨迹，将工件从工件抓取区放置在目标位置，即传送带上，采用能量最小的五次贝塞尔曲线，将抓取位置和目标位置之间的线段使用一次贝塞尔曲线描述，为gu，u∈[0，1]，计算该线段的中点Z0，在参数域u∈[0，1]上均匀采样Ω次，设定能量最小的目标函数为： 其中，P1，P2，P3，P4为除去首末控点外的其余四个控点；fu为待优化贝塞尔曲线，f1u为待优化贝塞尔曲线的一次导数，α1，α2，α3为权重因子，满足α1+α2+α3＝1，fuj为第j个采样点在待优化贝塞尔曲线上对应的值，guj为第j个采样点在一次贝塞尔曲线上的对应值，Δu为采样间隔，Ω为采样次数；求解目标函数，得到最优能量的五阶贝塞尔曲线。

全文数据：

权利要求：

百度查询： 安阳工学院 一种基于视觉的二指机械手工件抓取方法及系统