买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：烟台大学

摘要：本发明涉及计算机视觉技术领域，尤其是涉及一种基于双手交互姿态估计的仿生机械手控制方法及系统。所述方法，包括获取图像数据集，包括获取手部姿态和形状的数据集，并对获取的数据集进行整合；基于获取的手部姿态数据集进行手部姿态估计，包括构建并利用神经网络模型进行手部姿态的特征提取；利用轻量级神经网络模型对手部姿态数据集中手部图像进行特征分析，得到双手的姿态信息；根据特征分析结果进行轻量级神经网络模型训练；通过双手的姿态信息进行姿态对齐和映射，基于姿态对齐和映射生成仿生机械手的控制信息。本发明通过采用轻量级神经网络架构，实现了对两只手之间相对位置的准确预测,使机械手在执行任务时更加准确和可靠。

主权项：1.一种基于双手交互姿态估计的仿生机械手控制方法，其特征在于，包括：获取图像数据集，包括获取手部姿态和形状的数据集，并对获取的数据集进行整合；基于获取的手部姿态数据集进行手部姿态估计，包括构建并利用神经网络模型进行手部姿态的特征提取，构建DetNet神经网络架构，并通过DetNet神经网络架构检测手部姿态数据集中左右手部边界框，将数据集中高分辨率输入图像进行下采样得到低分辨率图像，通过ResNet-50网络从低分辨率图像中提取深层特征，并利用反卷积层将提取的深层特征上采样对低分辨率图像进行特征恢复；利用轻量级神经网络模型对手部姿态数据集中手部图像进行特征分析，得到双手的姿态信息，包括利用卷积层在特征恢复后的低分辨率图像中生成2D热图，利用Soft-argmax方法提取2D热图中手部中心坐标，并对提取的手部中心坐标进行双线性插值，得到手部中心坐标的特征信息，利用神经网络架构的全连接层预测手的大小，将手部中心的坐标与预测手的大小信息相结合得到双手的姿态信息，基于检测的左右手部边界框进行图像裁剪，得到单独的左、右手图像，并对左手图像进行水平翻转转换为右手姿势，将左、右手图像均输入到至ShapeNet三维形状数据库中，获取每只手的3D网格和2.5D姿势；根据特征分析结果进行轻量级神经网络模型训练，包括通过CoordLoss损失函数计算手部中心坐标的损失，利用PoseLoss损失函数计算手部姿势的损失，基于坐标损失和姿态损失对轻量级神经网络模型的参数进行调整；通过双手的姿态信息进行姿态对齐和映射，包括将双手的姿态信息对齐到仿生机械手的控制空间，根据左、右手图像进行二维仿射变换将单只手的图像空间转换到两只手边界框的联合空间，输入2.5D姿势信息至TransNets模型，利用相对二维信息和姿势信息预测两只手之间的3D相对位移；基于姿态对齐和映射生成仿生机械手的控制信息。

全文数据：

权利要求：

百度查询： 烟台大学 一种基于双手交互姿态估计的仿生机械手控制方法及系统