买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西安中科光电精密工程有限公司

摘要：本发明公开了一种基于混放物料信息采集的拆垛机器人系统及方法，包括多自由度机器人，通过末端执行装置执行物料拆垛并将物料放置到指定位置；局部双目视觉装置，用于检测待抓取物料的三维形貌，获取物料的体积信息，识别标签条码信息；全局双目视觉装置，通过设置于拆垛工位上方至少两个相机对物料堆垛垛形进行拍摄，并提取待抓取物料的空间坐标位置和姿态信息；工控机，分别与多自由度机器人、全局双目视觉装置、局部双目视觉装置连接，用于数据等信息传输。该系统能够减少人工及设备投入；适用性更广泛，智能化程度更高。

主权项：1.一种基于混放物料信息采集的拆垛机器人系统，其特征在于，包括:多自由度机器人，用于接收工控机坐标信息和指令，通过末端执行装置执行物料拆垛并将物料放置到指定位置；局部双目视觉装置，安装在多自由度机器人的末端轴上，用于检测待抓取物料的三维形貌，获取物料的体积信息，识别标签条码信息；全局双目视觉装置，通过设置于拆垛工位上方至少两个相机对物料堆垛垛形进行拍摄，并提取待抓取物料的空间坐标位置和姿态信息；工控机，通过以太网分别与多自由度机器人、全局双目视觉装置、局部双目视觉装置连接，用于数据信息传输；所述工控机分别获取局部双目视觉装置和全局双目视觉装置分别传输的待抓取物料和物料堆垛信息，控制多自由度机器人通过末端执行装置执行物料拆垛和码放；所述全局双目视觉装置包括全局双目相机，所述全局双目相机通过全局双目相机安装支架交错设置在拆垛工位上方，对垛形进行同步拍摄；所述全局双目相机利用三角测量和双目相机交会原理，获取当前垛形的三维形貌；工控机采用最小体积计算方法求出堆垛体积；同时利用数目测量及视差原理测量生成深度图像，并根据深度信息进行排序，确定最高位置的物料，将其作为待抓取物料；图像处理软件提取待抓取物料的体积、姿态和所处高度位置信息，推算出待抓取物料上平面几何中心所处位置；所述局部双目视觉装置包括局部双目相机，所述局部双目相机通过局部双目相机安装支架固定在多自由度机器人的末端轴上，与所述末端执行装置保持同步运动；所述局部双目相机根据三角测量和双目相机交会原理，获得待抓取物料图像，工控机通过处理软件体积测量模块，解算出待抓取物料长、宽、高信息，采用最小体积计算方法，求出待抓取物料体积。

全文数据：一种基于混放物料信息采集的拆垛机器人系统及方法技术领域本发明属于自动化技术领域，涉及一种基于混放物料信息采集的拆垛机器人系统及方法。背景技术随着物流行业、电商行业、包装行业、制造业等的快速发展，仓储或物流中的拆垛工作的数量大幅增加。由于传统的拆垛工作是由人工完成，劳动强度大、工作效率低、人工出错率高、安全风险隐患大等缺点，目前越来越多的仓储或物流系统中采用机器人来进行拆垛作业。但针对物流或仓储转运分拣等行业的现状，包裹有箱装、袋装等多种形式，且规格多样、随机，现有机器人拆垛系统依然存在一些缺陷。1无法适用于不同物料、不同规格、不同垛形的拆垛工作现有的主流拆垛机器人多采用机械定位方式，通过前期位置示教进行拆垛作业。这种方式对物料堆垛的位置、垛形形状要求较高，只适用于单一规格或固定几种规格的物料堆垛的拆垛。一旦堆垛位置发生改变，或者垛形发生变化，或者物料规格发生改变，则需重新进行示教和编程，智能化程度较低。尤其是物流和仓储系统中，包裹形式规格多样、随机，这种弊端更加明显。2无法采集物料的标签条码信息在仓储或物流等系统中，包裹完成拆垛后，通常会被放置到输送线上，然后对包裹进行分拣。一般方法为：包裹经过扫码工位对包裹标签条码进行识别，根据条码信息对包裹进行分拣，输送到不同的通道。然而，现有拆垛系统仅能实现单一的拆垛工作，不具备物料信息的采集功能。通过查找，在拆垛的同时完成标签条码的识别，并直接进行分拣的相关应用或介绍还未见报道。3无法采集物料的体积信息在仓储、物流、电商、包装行业中，包裹分拣完成后需装车发运。货运公司则根据包裹体积及重量进行收费。目前，在物流或仓储转运行业中，包裹的体积测量一般需要人工采用专用测量设备进行外轮廓测量，或者在输送线上设置在线体积测量工位，以获取体积信息。现有的拆垛系统功能单一，不具备物料信息的采集功能。在拆垛的同时对物料的三维形貌进行识别以获取体积信息的方法，目前还未见相关专利公开或介绍。经对现有技术文献的检索发现，中国发明专利申请号为201810349886.9的专利，专利名称为：一种3D视觉纸箱拆垛系统，该专利提出了采用一个3D结构光和两个2D相机对纸箱堆进行拍照，并提取纸箱位置信息，指导机器人拆垛；但其2D相机仅对纸箱的平面位置信息进行测量，无法获得垛形的三维形貌和姿态；且该发明未涉及单个物料的三维形貌测量、体积测量和条码识别等信息的采集功能。中国发明专利申请号为201510678912.9的专利，专利名称为：一种新型的拆垛方法和系统，该专利公开了一种基于双目视觉的拆垛系统和方法，但该专利仅在机械臂前端安装双目相机，相机视野范围比较局限，需要先使用圆形模板进行扫描图像并定位，将堆垛进行分区拆垛，较为复杂；同时由于受到相机视野范围的限制，无法实时获取垛形的三维形貌；此外该专利未涉及单个物料的体积测量和条码识别等信息的采集功能。发明内容为解决现有技术中存在的上述缺陷，本发明的目的之一在于提供一种具有混放物料信息采集和拆垛机器人系统及方法，解决现有技术中存在的问题。该系统通过采用全局双目相机对堆垛垛形进行实时监测，获取垛形三维形貌和待抓取物料的高度位置、平面位置和姿态信息，以实现不同规格尺寸物料、不同堆垛形状的拆垛；该系统通过采用局部双目相机对待抓取的单个物料的三维形貌和标签条码进行识别以获取单个物料的体积信息和条码信息，并根据采集到的物料信息直接对混放物料进行分拣，打破了现有拆垛系统的单一拆垛功能，使其功能更加多样化、智能化。本发明是通过下述技术方案来实现的。一种基于混放物料信息采集的拆垛机器人系统，包括:多自由度机器人，用于接收工控机坐标信息和指令，通过末端执行装置执行物料拆垛并将物料放置到指定位置；局部双目视觉装置，安装在多自由度机器人的末端轴上，用于检测待抓取物料的三维形貌，获取物料的体积信息，识别标签条码信息；全局双目视觉装置，通过设置于拆垛工位上方至少两个双目视觉装置对物料堆垛垛形进行拍摄，并提取待抓取物料的空间坐标位置和姿态信息；工控机，通过以太网分别与多自由度机器人、全局双目视觉装置、局部双目视觉装置连接，用于数据信息传输；所述工控机分别获取局部双目视觉装置和全局双目视觉装置分别传输的待抓取物料和物料堆垛信息，控制多自由度机器人通过末端执行装置执行物料拆垛和码放。进一步，所述全局双目视觉装置包括全局双目相机，所述全局双目相机通过全局双目相机安装支架交错设置在拆垛工位上方，对垛形进行同步拍摄；所述全局双目相机利用三角测量和双目相机交会原理，获取当前垛形的三维形貌；工控机采用最小体积计算方法求出堆垛体积；同时利用数目测量及视差原理测量生成深度图像，并根据深度信息进行排序，确定最高位置的物料，将其作为待抓取物料；图像处理软件提取待抓取物料的体积、姿态和所处高度位置信息，推算出待抓取物料上平面几何中心所处位置。进一步，所述局部双目视觉装置包括局部双目相机，所述局部双目相机通过局部双目相机安装支架固定在多自由度机器人的末端轴上，与所述末端执行装置保持同步运动；所述局部双目相机根据三角测量和双目相机交会原理，获得待抓取物料图像，工控机通过处理软件体积测量模块，解算出待抓取物料长、宽、高信息，采用最小体积计算方法，求出待抓取物料体积。进一步，所述局部双目相机获得条码区域图像，工控机通过图像处理软件标签条码识别模块，利用梯度算法锁定图像位置，并对条码区域图像进行分割，虚拟横行激光条形扫码线计算条码间距信息，依据一维码编码准则识别出条码信息。进一步，所述末端执行装置包括缓冲装置和吸盘；所述缓冲装置包括连接在多自由度机器人轴上的一对可伸缩臂，在可伸缩臂的顶部分别各连接一个局部双目相机；吸盘设在所述可伸缩臂的下方。进一步，所述吸盘的材质为海绵或者橡胶，吸盘内设置有单向阀。进一步，所述可伸缩臂呈倾斜角度设置，所述局部双目相机可沿360°翻转。本发明进而给出了一种基于混放物料信息采集的拆垛机器人拆垛方法，包括如下步骤：1离线标定多自由度机器人、全局双目相机和局部双目相机；2全局双目相机根据工控机指令对拆垛工位进行图像采集，获取同步图片，并上传至工控机；3工控机根据图片的灰度阈值分离出拆垛工位托盘和物料信息，检测拆垛工位是否有物料；若有物料，执行步骤4；若无物料，则提示放置物料；4工控机根据待抓取物料的姿态、所处高度位置和当前垛形的三维形貌，确定最高位置物料作为待抓取物料；并推算出待抓取物料的上平面几何中心位置坐标，发送给多自由度机器人；5多自由度机器人根据坐标信息和物料体积信息，运动至带抓取物料正上方,且吸盘方位与物料方位一致；6局部双目相机根据工控机指令对待抓取物料的三维形貌进行拍摄，并拍摄物料上的标签条码，并上传至工控机；7工控机接收局部双目相机拍摄的双目图片，控制多自由度机器人运动至待抓取物料位置，且吸盘方位与物料A方位保持一致：8工控机控制末端执行装置内真空度，吸盘吸取物料，多自由度机器人根据指令将物料移动至指定位置，吸盘放下物料；9多自由度机器人回到初始位置，完成单个物料的拆垛；循环往复直至完成所有物料拆垛。进一步，所述步骤1中，离线标定多自由度机器人、全局双目相机和局部双目相机，步骤如下：1a标定全局双目相机与机器人基坐标系，根据全局双目相机与多自由度机器人的安装位置关系，获得全局双目相机与多自由度机器人与机器人基坐标系的投影矩阵；1b标定全局双目相机与机器人工具坐标系、局部双目相机与机器人工具坐标系，根据全局双目相机、局部双目相机与多自由度机器人末端轴的安装位置关系，获得全局双目相机与多自由度机器人和局部双目相机坐标系与机器人工具坐标系的投影矩阵；1c标定多自由度机器人与作业区域，获得机器人基坐标系与作业区域坐标系的投影矩阵；1d标定机器人基坐标系与机器人工具坐标系，根据多自由度机器人的运动情况获得机器人基坐标系与工具坐标系的投影矩阵；局部双目相机拍摄的双目图片通过投影矩阵转换成机器人基坐标系，并指导多自由度机器人运动至作业区域进行拆垛作业。本发明由于采取以上技术方案，其具有以下有益效果：1.基于混放物料信息采集的拆垛机器人系统采用全局双目相机，对物料垛形三维形貌、待抓取物料三维空间位置及姿态进行实时测量，可适用于不同规格物料、不同堆垛形状的拆垛工作；同时，在相机视场和机器人臂展范围内，对堆垛的位置和堆垛形状几乎没有要求，适用性更广泛，智能化程度更高；2.基于混放物料信息采集的拆垛机器人系统采用局部双目相机，对待抓物料的三维形貌进行测量，实现物料体积信息的采集，不需要人工采用专用测量设备进行外轮廓测量，也不需要在输送线上设置在线体积测量工位，缩短输送线长度，减少人工及设备投入；3.基于混放物料信息采集的拆垛机器人系统采用局部双目相机，对待抓物料上的标签条码进行拍照识别，实现条码信息的采集，可用于混放物料的分拣，不需人工采用专用测量设备扫码，或者在输送线中设置条码识别工位，缩短输送线长度，减少人工及设备投入。附图说明此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的不当限定，在附图中：图1是本发明的一较佳实施例的主视图；图2是本发明的一较佳实施例的俯视图；图3是本发明末端执行装置及局部双目视觉的较佳实施例的示意图；图4是本发明实现步骤基本流程图；图5是本发明全局双目相机离线标定流程图；图6是本发明局部双目相机离线标定流程图；图中，1.多自由度机器人，2.末端执行装置，3.局部双目视觉装置，4.全局双目视觉装置，5.拆垛工位，6.输送线，7.工控机。21.缓冲装置，22.吸盘；32.局部双目相机安装支架，311.局部双目相机Ⅰ，312.局部双目相机Ⅱ；411.全局双目相机Ⅰ，412.全局双目相机Ⅱ，42.全局双目相机安装支架，43.光源。具体实施方式下面将结合附图以及具体实施例来详细说明本发明，在此本发明的示意性实施例以及说明用来解释本发明，但并不作为对本发明的限定。如图1所示,本发明的本实施例提供一个拆垛工位时的具有物料信息采集和拆垛机器人系统，具体拆垛工位数量可根据需求设置。该系统包括：多自由度机器人1、末端执行装置2、局部双目视觉装置3、全局双目视觉装置4、拆垛工位5、输送线6、工控机7。如附图1所示，多自由度机器人1放置在拆垛工位5附近，确保物料堆垛在多自由度机器人1的运动范围内；多自由度机器人1与工控机7信号连接，用于接收坐标信息和指令，执行物料拆垛，并将物料放置到指定位置，具体放置位置根据要求确定，本实施例中将物料拆垛后放置到输送线6上。末端执行装置2，安装在多自由度机器人1的末端轴上，用于执行物料的抓取和放下。局部双目视觉装置3，安装在多自由机器人1的末端轴上，用于检测待抓取物料的三维形貌，获取物料的体积信息，同时对物料上的标签条码进行拍摄，识别标签条码信息。全局双目视觉装置4，包括至少两个设置于拆垛工位5上方，用于对物料堆垛垛形进行拍摄，实时监测堆垛的三维形貌，并提取待抓取物料的空间坐标位置和姿态信息。工控机7，通过以太网分别与多自由度机器人1、全局双目视觉装置4、局部双目视觉装置3连接，用于数据等信息传输。工控机分别获取局部双目视觉装置和全局双目视觉装置分别传输的待抓取物料和物料堆垛信息，控制多自由度机器人通过末端执行装置执行物料拆垛和码放。如附图2所示，全局双目视觉装置4包括：全局双目相机Ⅰ411，全局双目相机Ⅱ412，全局双目相机安装支架42和光源43；全局双目相机Ⅰ411、Ⅱ412通过全局双目相机安装支架42设置在拆垛工位5上方，对垛形进行同步拍摄，获得双目图像，通过事先离线标定获得的投影矩阵，推算出垛形的三维形貌和位姿，整个过程由图像处理软件完成，可适应于不同物料、不同位置、不同垛形的三维形貌测量和空间坐标识别。工控机采用最小体积计算方法求出堆垛体积；同时利用数目测量及视差原理测量生成深度图像，并根据深度信息进行排序，确定最高位置的物料，将其作为待抓取物料；图像处理软件提取待抓取物料的体积、姿态和所处高度位置信息，推算出待抓取物料上平面几何中心所处位置。局部双目视觉装置3包括：局部双目相机Ⅰ311、局部双目相机Ⅱ312和局部双目相机安装支架32；所述局部双目相机Ⅰ311、Ⅱ312通过局部双目相机安装支架32固定在多自由度机器人1的末端轴上，与末端执行装置2保持同步运动，无需额外配置动力系统，用于测量待抓取物料的三维形貌和标签条码。局部双目相机根据三角测量和双目相机交会原理，获得待抓取物料图像，工控机通过处理软件体积测量模块，解算出待抓取物料长、宽、高信息，采用最小体积计算方法，求出待抓取物料体积。局部双目相机Ⅰ311、Ⅱ312同时对待抓取物料进行拍摄，根据三角测量和双目相机交会原理，获得待抓取物料图像，工控机通过处理软件体积测量模块，通过事先离线标定获得的投影矩阵，采用最小体积计算方法，推算出待抓取物料的三维形貌和体积信息；同时对物料上的标签条码信息进行采集获得条码区域图像；工控机通过图像处理软件标签条码识别模块，利用梯度算法锁定图像位置，并对条码区域图像进行分割，虚拟横行激光条形扫码线计算条码间距信息，依据一维码编码准则识别出条码信息。整个过程由图像处理软件完成，可适应于不同规格物料的体积信息和标签条码信息采集。如附图2所示，光源43设置在拆垛工位5上方或旁边，用于给全局双目相机Ⅰ411、Ⅱ412拍照提供辅助照明。光源43的选型及安装位置具体根据现场环境情况确定，本实施例中安装在全局双目相机安装支架42上；全局双目相机安装支架42和局部双目相机安装支架32，可根据现场需求设计成不同形式，但需保证堆垛和物料在对应双目相机的视场范围内。工控机7通过系统软件来控制：多自由度机器人1运动，全局双目相机Ⅰ411、Ⅱ412和局部双目相机Ⅰ311、Ⅱ312的参数设置及图像拍摄，光源43打开和关闭，末端执行装置2吸取和放下物料。如附图3所示，末端执行装置2包括缓冲装置21和吸盘22。缓冲装置包括连接在多自由度机器人轴上的一对可伸缩臂，在可伸缩臂的顶部分别各连接一个局部双目相机；吸盘设在所述可伸缩臂的下方。缓冲装置21既可避免多自由度机器人1运动时对物料的冲击引起物料破损，还可补偿双目视觉测量技术在物料高度方向的位置偏差；吸盘22材质可为海绵或者橡胶或其他，通过形成负压来吸附和放下物料，其内设置有单向阀，可以适用一定范围内不同规格尺寸、不同形状、不同物料的抓取。可伸缩臂呈倾斜角度设置，局部双目相机可沿360°翻转。本发明实现步骤基本流程图如图4所示，一种基于混放物料信息采集的拆垛机器人拆垛方法，包括以下步骤：1打开电源、气源、软件；离线标定多自由度机器人、全局双目相机和局部双目相机；2工控机给全局双目相机Ⅰ411、Ⅱ412发送指令，全局双目相机Ⅰ411和全局双目相机Ⅱ412对堆垛垛形进行同步拍摄，获取垛形的三维形貌，并上传至工控机；3工控机7接收全局双目相机Ⅰ411与全局双目相机Ⅱ412的双目图片，根据图片的灰度阈值分离出拆垛工位托盘和物料信息，检测拆垛工位是否有物料；若有物料，执行步骤4；若无物料，则提示放置物料；4检测出物料后，工控机图像处理软件利用三角测量和双目相机交会原理，获取当前垛形的三维形貌长L0、宽W0、高H0、姿态，采用最小体积计算方法，求出堆垛体积V0＝L0╳W0╳H0；同时利用数目测量及视差原理测量生成深度图像，并根据深度信息进行排序，确定最高位置的物料，将其作为待抓取物料A；图像处理软件提取待抓取物料A的长、宽、姿态和所处高度位置信息，推算出待抓取物料A的上平面几何中心所处位置坐标X、Y、Z、O、A、T，将信息发送给多自由度机器人1，其中，O、A、T表示物料在三维空间中的姿态，即物料坐标系分别沿空间坐标系X、Y、Z轴的旋转角度；5多自由机器人1根据工控机7发送的坐标和姿态信息和物料体积信息，移动至待抓取物料A上平面几何中心所处位置的正上方△Z处作为局部双目相机拍摄位置，具体位姿坐标为X、Y、Z+△Z、O、A、T，其中，△Z为吸盘沿Z轴正方向上方与待抓取物料A的相对位移，其作用是便于局部双目相机对待抓取物料三维形貌及标签条码进行采图；△Z大小由局部双目相机Ⅰ311、Ⅱ312参数和物料外形决定，可根据需求进行选择；此处O、A、T表示吸盘方位与待抓取物料方位一致:吸盘长边与物料A长边方向一致，吸盘短边与物料A短边方向一致；6工控机7给局部双目相机Ⅰ311、Ⅱ312发送指令，局部双目相机Ⅰ311与局部双目相机Ⅱ312对待抓取物料A的三维形貌进行拍摄，并拍摄物料上的标签条码；工控机7接收局部双目相机Ⅰ311与局部双目相机Ⅱ312拍摄的双目图片；7工控机图像处理软件的体积测量模块，根据三角测量和双目相机交会原理，获得待抓取物料A特征点的三维坐标，解算出待抓取物料的长L、宽W、高H信息，采用最小体积计算方法，求出物料体积V＝L╳W╳H；同时，标签条码识别模块，根据条码纵向一致性特征，利用梯度算法锁定图像位置，并对其条码区域图像进行分割，虚拟横行激光条形扫码线计算条码间距信息，依据一维码编码准则识别出条码信息；8工控机7根据采集的物料信息体积或标签条码信息，给机器人发送相应指令；9多自由度机器人1根据工控机指令，运动至待抓取物料位置X、Y、Z-20、O、A、T，其中，Z-20表示吸盘移动位置与待抓取物料A沿Z轴负方向下方相距20mm位移处，其作用是让缓冲装置和吸盘产生一定的压缩量，确保吸盘与物料充分接触，提高吸盘吸取物料的可靠性，其具体数值由缓冲装置和吸盘决定；10工控机控制真空发生装置电磁阀通电，产生负压；11工控机控制真空度传感器进行压力检测，若末端执行装置2内真空度小于等于-0.5MPa，则吸盘22吸取物料；若末端执行装置2内真空度大于-0.5MPa，则给多自由度机器人1发送指令，使其沿Z方向向下移动5mm，真空度传感器再次检测真空度，若真空度仍大于-0.5MPa，则提示抓取物料失败，多自由度机器人回到初始位置，若真空度小于等于-0.5MPa，则吸盘22吸取物料A；12工控机7根据获取的物料信息体积信息及标签条码信息给多自由度机器人1发送相应的指令，多自由度机器人1根据指令将物料A移动至指定位置；13工控机控制真空发生装置电磁阀断电，吸盘22放下物料A；14多自由度机器人1回到初始位置，完成单个物料的拆垛；循环往复直至完成所有物料拆垛，结束运行。其中，全局双目相机和局部双目相机均利用三角测量和双目相机交会原理得到获得物料的三维形貌，其原理为：当堆垛物料的位置和姿态发生变化时，在世界坐标系中可以通过位置变化和姿态变化来表示，当位置发生变化时相当于产生了平移向量T＝TX,TY,TZ，TX,TY,TZ定义为将世界坐标系原点移至相机坐标系原点沿三个坐标轴的平移量；姿态发生变化时相当于产生了旋转矩阵R，R是一个3╳3的正交矩阵，它的元素r0～r8是旋转角AX,AY,AZ的三角函数组合，旋转角AX,AY,AZ定义为将世界坐标系变换到相机坐标系姿态一致而分别绕三个坐标轴转过的欧拉角。即：式中：ZC为物点到光心的距离在光轴方向上的投影，即世界坐标系原点在相机坐标系中的物距；为像素坐标对应的X、Y值；CX,CY为图像主点的像素坐标；FX,FY为等效焦距；FX,FY,CX,CY均为相机内参数，旋转矩阵Rr0～r8、平移矩阵TTX,TY,TZ为相机外参数。离线标定多自由度机器人、全局双目相机和局部双目相机的目的是为了获得对应的旋转矩阵R和平移矩阵T，从而推算出物料的三维坐标。如图5所示，全局双目相机离线标定分为两部分：一是标定全局双目相机与多自由度机器人，根据全局双目相机与多自由度机器人的安装位置关系，获得全局双目相机坐标系与机器人基坐标系世界坐标系的投影矩阵；二是标定多自由度机器人与作业区域，获得机器人基坐标系世界坐标系与作业区域坐标系的投影矩阵；完成标定之后，全局双目相机拍摄的双目图片可通过投影矩阵转换成机器人基坐标系世界坐标系，并指导多自由度机器人运动至作业区域进行拆垛作业。如图6所示，局部双目相机离线标定分为三部分：一是标定局部双目相机与机器人工具坐标系，根据局部双目相机与多自由度机器人末端轴的安装位置关系，获得局部双目相机坐标系与机器人工具坐标系的投影矩阵；二是标定多自由度机器人与作业区域，获得机器人基坐标系世界坐标系与作业区域坐标系的投影矩阵；三是标定机器人基坐标系与机器人工具坐标系，因多自由度机器人在执行拆垛作业时，由于物料所处的空间位置不同，机器人末端轴工具每次所处的位置不同，因此需要根据多自由度机器人的运动情况来获得机器人基坐标系与工具坐标系的投影矩阵；完成标定之后，局部双目相机拍摄的双目图片可通过投影矩阵转换成机器人基坐标系世界坐标系，并指导多自由度机器人运动至作业区域进行拆垛作业。本发明并不局限于上述实施例，在本发明公开的技术方案的基础上，本领域的技术人员根据所公开的技术内容，不需要创造性的劳动就可以对其中的一些技术特征作出一些替换和变形，这些替换和变形均在本发明的保护范围内。

权利要求：1.一种基于混放物料信息采集的拆垛机器人系统，其特征在于，包括:多自由度机器人，用于接收工控机坐标信息和指令，通过末端执行装置执行物料拆垛并将物料放置到指定位置；局部双目视觉装置，安装在多自由度机器人的末端轴上，用于检测待抓取物料的三维形貌，获取物料的体积信息，识别标签条码信息；全局双目视觉装置，通过设置于拆垛工位上方至少两个相机对物料堆垛垛形进行拍摄，并提取待抓取物料的空间坐标位置和姿态信息；工控机，通过以太网分别与多自由度机器人、全局双目视觉装置、局部双目视觉装置连接，用于数据信息传输；所述工控机分别获取局部双目视觉装置和全局双目视觉装置分别传输的待抓取物料和物料堆垛信息，控制多自由度机器人通过末端执行装置执行物料拆垛和码放。2.根据权利要求1所述的基于混放物料信息采集的拆垛机器人系统，其特征在于，所述全局双目视觉装置包括全局双目相机，所述全局双目相机通过全局双目相机安装支架交错设置在拆垛工位上方，对垛形进行同步拍摄；所述全局双目相机利用三角测量和双目相机交会原理，获取当前垛形的三维形貌；工控机采用最小体积计算方法求出堆垛体积；同时利用数目测量及视差原理测量生成深度图像，并根据深度信息进行排序，确定最高位置的物料，将其作为待抓取物料；图像处理软件提取待抓取物料的体积、姿态和所处高度位置信息，推算出待抓取物料上平面几何中心所处位置。3.根据权利要求1所述的基于混放物料信息采集的拆垛机器人系统，其特征在于，所述局部双目视觉装置包括局部双目相机，所述局部双目相机通过局部双目相机安装支架固定在多自由度机器人的末端轴上，与所述末端执行装置保持同步运动；所述局部双目相机根据三角测量和双目相机交会原理，获得待抓取物料图像，工控机通过处理软件体积测量模块，解算出待抓取物料长、宽、高信息，采用最小体积计算方法，求出待抓取物料体积。4.根据权利要求3所述的基于混放物料信息采集的拆垛机器人系统，其特征在于，所述局部双目相机获得条码区域图像，工控机通过图像处理软件标签条码识别模块，利用梯度算法锁定图像位置，并对条码区域图像进行分割，虚拟横行激光条形扫码线计算条码间距信息，依据一维码编码准则识别出条码信息。5.根据权利要求1所述的基于混放物料信息采集的拆垛机器人系统，其特征在于，所述末端执行装置包括缓冲装置和吸盘；所述缓冲装置包括连接在多自由度机器人轴上的一对可伸缩臂，在可伸缩臂的顶部分别各连接一个局部双目相机；吸盘设在所述可伸缩臂的下方。6.根据权利要求5所述的基于混放物料信息采集的拆垛机器人系统，其特征在于，所述吸盘的材质为海绵或者橡胶，吸盘内设置有单向阀。7.根据权利要求5所述的基于混放物料信息采集的拆垛机器人系统，其特征在于，所述可伸缩臂呈倾斜角度设置，所述局部双目相机可沿360°翻转。8.一种基于混放物料信息采集的拆垛机器人拆垛方法，其特征在于，包括如下步骤：1离线标定多自由度机器人、全局双目相机和局部双目相机；2全局双目相机根据工控机指令对拆垛工位进行图像采集，获取同步图片，并上传至工控机；3工控机根据图片的灰度阈值分离出拆垛工位托盘和物料信息，检测拆垛工位是否有物料；若有物料，执行步骤4；若无物料，则提示放置物料；4工控机根据待抓取物料的姿态、所处高度位置和当前垛形的三维形貌，确定最高位置物料作为待抓取物料；并推算出待抓取物料的上平面几何中心位置坐标，发送给多自由度机器人；5多自由度机器人根据坐标信息和物料体积信息，运动至带抓取物料正上方,且吸盘方位与物料方位一致；6局部双目相机根据工控机指令对待抓取物料的三维形貌进行拍摄，并拍摄物料上的标签条码，并上传至工控机；7工控机接收局部双目相机拍摄的双目图片，控制多自由度机器人运动至待抓取物料位置，且吸盘方位与物料A方位保持一致：8工控机控制末端执行装置内真空度，吸盘吸取物料，多自由度机器人根据指令将物料移动至指定位置，吸盘放下物料；9多自由度机器人回到初始位置，完成单个物料的拆垛；循环往复直至完成所有物料拆垛。9.根据权利要求8所述的基于混放物料信息采集的拆垛机器人拆垛方法，其特征在于，所述步骤1中，离线标定多自由度机器人、全局双目相机和局部双目相机，步骤如下：1a标定全局双目相机与机器人基坐标系，根据全局双目相机与多自由度机器人的安装位置关系，获得全局双目相机与多自由度机器人与机器人基坐标系的投影矩阵；1b标定全局双目相机与机器人工具坐标系、局部双目相机与机器人工具坐标系，根据全局双目相机、局部双目相机与多自由度机器人末端轴的安装位置关系，获得全局双目相机与多自由度机器人和局部双目相机坐标系与机器人工具坐标系的投影矩阵；1c标定多自由度机器人与作业区域，获得机器人基坐标系与作业区域坐标系的投影矩阵；1d标定机器人基坐标系与机器人工具坐标系，根据多自由度机器人的运动情况获得机器人基坐标系与工具坐标系的投影矩阵；局部双目相机拍摄的双目图片通过投影矩阵转换成机器人基坐标系，并指导多自由度机器人运动至作业区域进行拆垛作业。

百度查询： 西安中科光电精密工程有限公司 一种基于混放物料信息采集的拆垛机器人系统及方法