买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：广东工业大学

摘要：本发明提出了一种基于深度补全的透明物体抓取方法，包括：对RGB图片中的透明物体进行识别，获取带掩码的深度图；利用教师网络对RGB图片和带掩码的深度图进行特征提取，获取透明物体的全局特征和局部特征；其中，教师网络基于Transformer网络构建；基于复合蒸馏损失函数，利用学生网络学习全局特征和局部特征，将RGB图片和带掩码的深度图输入至学习后的学生网络进行关联处理，获取预测的深度图；其中，学生网络基于CNN网络构建。本发明利用教师网络教授出一个精度高，效率高，鲁棒性高的学生网络，并根据现实需要选择高精度效率略低的教师网络或者精度略差效率更高的学生网络部署于真实机器人中实现高精度抓取。

主权项：1.一种基于深度补全的透明物体抓取方法，其特征在于，包括：对RGB图片中的透明物体进行识别，获取带掩码的深度图；利用教师网络对所述RGB图片和带掩码的所述深度图进行特征提取，获取透明物体的全局特征和局部特征；其中，所述教师网络基于Transformer网络构建；基于复合蒸馏损失函数，利用学生网络学习所述全局特征和局部特征，将所述RGB图片和带掩码的所述深度图输入至学习后的所述学生网络进行关联处理，获取预测的深度图；其中，所述学生网络基于CNN网络构建；将所述预测的深度图输入GR-CNN网络，获取所述透明物体的抓取框，基于所述抓取框完成所述透明物体的抓取；对RGB图片中的透明物体进行识别，获取带掩码的深度图包括：使用Deeplabv3+算法识别所述RGB图片中的透明物体，提取出透明物体掩膜；基于所述透明物体掩膜，通过位置信息映射去除深度图中对应的透明物体区域，获取带掩码的所述深度图；将所述RGB图片和带掩码的所述深度图输入至学习后的所述学生网络进行关联处理包括：将所述RGB图片和带掩码的所述深度图分别输入至卷积层中进行特征的初步抽取，获取初步抽取后的RGB图片特征和深度图特征；对初步抽取后的深度图特征使用下采样层进行降维处理；每个降维处理后的深度图特征再进入到一个下采样层进行降维处理；初步抽取后的RGB图片特征和深度图特征输入第一个一致特征关联模块，进行特征关联处理；从第二个特征关联模块开始，上一个特征关联模块处理后的输出与上一个通过下采样层进行降维处理后的深度图特征作为下一个所述一致特征关联模块的输入，依次类推，连续输入三个所述一致特征关联模块进行进一步特征关联；其中，每次一致特征关联模块输出的关联特征大小为上一个一致特征关联模块输出大小的一半，但维度增加为原来的两倍；而深度图特征通过下采样层后大小同样减少为上一层的一半，而维度增加为原来的两倍；经过四个一致特征关联模块进行特征关联处理，最终获取编码后的第二集成特征；利用第二解码器，对所述第二集成特征进行解码，获取预测的深度图；将初步抽取后的RGB图片特征和深度图特征输入第一个一致特征关联模块，进行特征关联处理包括：将初步抽取后的RGB图片特征和深度图特征分别输入到卷积层中进行通道数压缩；将压缩后的深度图特征与对应的未压缩RGB图片特征进行通道数上拼接后，再进行一次卷积操作，获取深度图特征的相似性权重；将所述深度图特征的相似性权重与未压缩的深度图特征进行按位相乘，获取可靠深度图位置特征；将压缩后的RGB图片特征与对应的未压缩深度图特征进行通道数上拼接后，再进行一次卷积操作，获取RGB图片特征的相似性权重；将RGB图片特征的相似性权重与未压缩的RGB图片特征进行按位相乘，获取可靠RGB图片位置特征；通过按位相加的方式对可靠深度图位置特征和可靠RGB图片位置特征进行求和，获取最终的可靠位置特征图；对所述最终的可靠位置特征图，使用线性整流函数ReLU，批归一化BatchNormalization和卷积进行特征关联，获取关联特征。

全文数据：

权利要求：

百度查询： 广东工业大学 一种基于深度补全的透明物体抓取方法