买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本申请涉及机械手控制领域，具体涉及一种机械手自适应控制系统及方法。其利用摄像头采集待抓物体的表面状态图像，并在后端引入基于人工智能和机器视觉的图像处理和分析算法来对于该表面状态图像进行分析，以此来识别出待抓取物体的表面状态语义，从而进行该物体的硬度识别。这样，能够利用图像处理技术来对于仿人机械手抓取物体的硬度进行检测，从而避免了利用传感器和接触式的方式易受到环境因素的影响以及可能会对某些敏感或易碎的物体造成损伤的问题。

主权项：1.一种机械手自适应控制系统，其特征在于，包括：待抓物体的硬度识别模块，用于通过摄像头采集待抓物体的表面状态图像，并基于所述待抓物体的表面状态图像确定所述待抓物体的硬度等级；输出力自适应控制模块，用于基于所述待抓物体的硬度等级，确定PWM占空比信号区间以及与所述PWM占空比信号区间对应的输出力区间；其中，所述待抓物体的硬度识别模块，包括：物体表面状态图像降噪单元，用于对所述待抓物体的表面状态图像进行图像降噪处理以得到降噪后待抓物体表面状态图像；物体表面状态图像切分单元，用于对所述降噪后待抓物体表面状态图像进行基于不同图像切分尺度的切分处理以得到第一待抓物体表面状态局部图像的序列和第二待抓物体表面状态局部图像的序列；物体表面状态语义编码单元，用于将所述第一待抓物体表面状态局部图像的序列和所述第二待抓物体表面状态局部图像的序列分别输入包含图像块嵌入编码器的ViT模型以得到第一尺度待抓物体表面状态语义编码特征向量和第二尺度待抓物体表面状态语义编码特征向量；物体表面状态多尺度语义交互整合单元，用于对所述第一尺度待抓物体表面状态语义编码特征向量和所述第二尺度待抓物体表面状态语义编码特征向量进行基于门控机制的动态交互整合处理以得到多尺度待抓物体表面状态语义编码特征；物体硬度识别单元，用于基于所述多尺度待抓物体表面状态语义编码特征，确定识别结果，所述识别结果为待抓物体的硬度等级标签；其中，所述物体表面状态图像切分单元，用于：以第一图像切分尺度对所述降噪后待抓物体表面状态图像进行图像切分以得到所述第一待抓物体表面状态局部图像的序列；以第二图像切分尺度对所述降噪后待抓物体表面状态图像进行图像切分以得到所述第二待抓物体表面状态局部图像的序列，其中，所述第一图像切分尺度不同于所述第二图像切分尺度；其中，所述物体表面状态多尺度语义交互整合单元，用于：将所述第一尺度待抓物体表面状态语义编码特征向量和所述第二尺度待抓物体表面状态语义编码特征向量输入基于门控机制的特征向量动态交互整合模块以得到多尺度待抓物体表面状态语义编码特征向量作为所述多尺度待抓物体表面状态语义编码特征；其中，所述物体表面状态多尺度语义交互整合单元，包括：级联子单元，用于将所述第一尺度待抓物体表面状态语义编码特征向量和所述第二尺度待抓物体表面状态语义编码特征向量输入特征联合模块中进行级联处理以得到多尺度待抓物体表面状态语义联合特征向量；信息融合子单元，用于将所述多尺度待抓物体表面状态语义联合特征向量输入门控响应函数以得到多尺度待抓物体表面状态语义动态信息融合响应门控值；加权和子单元，用于以所述多尺度待抓物体表面状态语义动态信息融合响应门控值作为权重，计算所述第一尺度待抓物体表面状态语义编码特征向量和所述第二尺度待抓物体表面状态语义编码特征向量的按位置加权和以得到所述多尺度待抓物体表面状态语义编码特征向量；其中，所述信息融合子单元，用于：计算所述多尺度待抓物体表面状态语义联合特征向量和参数矩阵的矩阵乘法后，再将得到的特征向量与偏置向量进行按位置相加以得到线性变换多尺度待抓物体表面状态语义联合特征向量；使用sigmoid函数对所述线性变换多尺度待抓物体表面状态语义联合特征向量进行激活以得到所述多尺度待抓物体表面状态语义动态信息融合响应门控值；其中，所述加权和子单元，用于：计算所述第一尺度待抓物体表面状态语义编码特征向量与所述多尺度待抓物体表面状态语义动态信息融合响应门控值之间的按位置乘积以得到权重调制第一尺度待抓物体表面状态语义编码特征向量；计算一减去所述多尺度待抓物体表面状态语义动态信息融合响应门控值后，将得到的权重值与所述第二尺度待抓物体表面状态语义编码特征向量进行按位置相乘以得到权重调制第二尺度待抓物体表面状态语义编码特征向量；将所述权重调制第一尺度待抓物体表面状态语义编码特征向量和所述权重调制第二尺度待抓物体表面状态语义编码特征向量进行按位置点加以得到所述多尺度待抓物体表面状态语义编码特征向量。

全文数据：

权利要求：

百度查询： 广东尚工机械制造有限公司 机械手自适应控制系统及方法