买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：大连理工大学

摘要：本发明提供一种基于2D和3D视觉定位的卸货机器人抓取方法，包括预先存储货箱的模板点云信息以及货箱的各面二维图像信息；获取堆垛的3D点云数据，并根据3D点云数据以及云台的控制角度，确定集装箱内堆垛在机器人坐标系下的3D点云位置信息；获取堆垛表面的2D图像，利用深度学习实例分割算法，确定货箱在2D图像中的像素位置以及货箱种类；根据货箱在2D图像中的像素位置，在3D点云中选择对应的点云数据，结合货箱种类以及货箱模板点云，经过点云配准，确定货箱的姿态信息以及位置信息，并生成机械手抓取货箱的抓取信息。本发明解决了普通平面相机以及3D相机视角较小以及3D点云分割集装箱杂乱、紧密货箱效果较差的问题，提高了集装箱自动化卸货的可靠性。

主权项：1.一种基于2D和3D视觉定位的卸货机器人抓取方法，其特征在于，利用2D3D视觉系统引导自主行进式集装箱货箱自动抓取卸货装置进行卸货，根据货箱在2D图像中的像素位置和货箱的种类与形状，结合3D点云数据，获取货箱的位置与姿态信息，具体包括：预先存储货箱的模板点云信息以及货箱各面的二维图像信息，包括：对不同货箱建立点云模型，分别从货箱的六个面进行二维视觉拍摄，分别获取六个面的二维信息；获取堆垛的3D点云数据，并根据3D点云数据以及云台的控制角度，确定集装箱内堆垛在机器人坐标系下的3D点云位置信息，包括：每次机械手抓取货箱完毕后，机械手进行放货操作，在机械手放货操作的同时，利用放货时机械手臂的移动关节位置信息以及云台移动部件，利用3D和2D视觉相结合的方式，生成下次机械手抓取货箱的抓取信息；获取堆垛表面的2D图像，利用深度学习实例分割算法，确定货箱在2D图像中的像素位置以及货箱种类，包括：利用深度学习算法对货箱进行识别，并在2D图像中将所识别像素进行处理，属于货箱的像素置为1，不属于货箱的像素置为0，生成堆垛的二值图像，并对货箱种类进行储存；根据货箱在2D图像中的像素位置，在3D点云中选择对应的点云数据，结合货箱种类以及货箱模板点云，经过点云配准，确定货箱姿态信息以及位置信息，包括：仅将每个特殊标记的像素，利用像素与点云的对应关系，寻找像素在3D视觉中的空间位置，获取像素点对应的三维数据；根据货箱种类信息，在已经存储的货箱模板点云数据库中寻找对应的货箱模板点云；将单个货箱的点云信息与单个货箱的模板点云数据进行匹配，将匹配好的点云信息，利用点云匹配时产生的旋转与平移矩阵，计算出单个货箱的姿态信息和位置信息；根据确定的货箱姿态信息以及位置信息，生成机械手抓取货箱的抓取信息，包括：将货箱的位置信息与相邻货箱的位置信息Y向进行对比，去除机械手臂抓取不到的后方货箱部分；将货箱的位置信息与相邻货箱的位置信息Z向进行对比，仅保留最上层货箱的位置信息；将货箱的位置信息与相邻货箱的位置信息X向进行对比，将货箱位置信息从左到右依次排序；确定需要抓取的货箱，使用货箱的姿态信息和位置信息，生成机械手臂的抓取信息；应用所述基于2D和3D视觉定位的卸货机器人抓取方法实现对货箱的抓取的自主行进式集装箱货箱自动抓取卸货装置视觉引导系统，包括：视觉相机模块1、云台控制模块3、抓取卸货模块2、吸盘模块6、机器人移动平台4；视觉相机模块1、云台控制模块3、抓取卸货模块2、吸盘模块6全部固定在机器人移动平台4上，机器人移动平台4负责机器人的行进与后退的移动；所述视觉相机模块1固定在云台控制模块3之上，其搭载3D视觉相机和2D视觉相机，其中Y轴垂直于相机表面，指向堆垛；Z轴平行于相机表面，垂直向上；X轴垂直于Y轴和Z轴，指向Y轴正方向的右侧；所述云台控制模块3通过连接支架5连接在抓取卸货模块2的侧面上；所述抓取卸货模块2在机器人移动平台4上平移运动，抓取卸货模块2自身可以旋转90度；抓取卸货模块2运动到待抓获货箱位置以后，吸盘模块6进行货箱的吸取。

全文数据：

权利要求：

百度查询： 大连理工大学 一种基于2D和3D视觉定位的卸货机器人抓取方法