买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：武汉理工大学

摘要：本发明涉及基于TD3的机械手臂6‑DOF物体操纵训练方法及系统，包括：建立机器人抓取的马尔可夫决策过程模型，确定抓取过程的状态、动作和回报；通过获取场景中的深度信息和力反馈；基于设计的模仿学习算法在仿真环境中收集数据，并进行基于TD3算法的深度强化学习策略和价值网络的预训练；预训练好的深度强化学习策略网络根据获取的环境状态参数输出机器人运动策略，机械臂根据运动策略执行抓取动作，并在交互中不断更新策略，从而以更合适的位姿和轨迹进行不同形状目标物体的抓取。本发明能有效地避免单视角下机械臂和其他部件对物体的遮挡带来的环境信息缺失问题，能对不同大小形状和摆放姿态下的物体选取合适的抓取姿态。

主权项：1.基于TD3的机械手臂6-DOF物体操纵训练方法，其特征在于，包括以下步骤：步骤S1，建立机械手臂操纵任务的马尔可夫决策过程模型，确定操纵过程中的环境状态、动作以及回报；步骤S2，机械手臂数据采集和预处理模块根据位于工作台两侧的多个相机采集的点云进行预处理，并融合机械手臂末端力传感器采集的受力数据、机械手臂的关节角得到环境状态；步骤S3，操纵位姿评估模块根据数据采集和预处理模块获得的环境状态利用基于PointNet架构的策略和价值网络输出合适的操纵位姿和路点参数，并估计预期回报；步骤S3中所述的策略和价值网络其结构是基于PointNet架构的，其策略网络由一个点云输入层、两个仿射变换模块以及若干层共享权值的多层感知机组成，首先通过一个仿射变换模块对输入状态点云C进行旋转，随后由多层感知机点提取特征，再经过一个仿射变换模块提取特征并进行最大池化操作,得到的向量和机械手臂当前位姿、夹持器状态信息拼接，通过若干全连接层后输出机械手臂末端的运动指令和预期回报的估计；步骤S4，路径优化模块根据操纵位姿评估模块输出的操纵位姿和路点参数利用任务参数化高斯混合模型进行操纵路点生成；步骤S5，训练模块根据路径优化模块生成的操纵路点控制机械手臂以合适的方向和轨迹进行目标物体的操纵，并在交互中储存得到的数据并更新网络，从而训练出神经网络模型根据输入的环境状态以合适的方向对不同形状物体的操纵；步骤S5所述的基于TD3算法的深度强化学习抓取策略，其具体为：用一个策略网络来拟合抓取策略，和两个价值网络、来拟合动作值函数，并且这些网络还具备目标网络、、来解决自举问题，其中代表网络参数为θu的策略网络。

全文数据：

权利要求：

百度查询： 武汉理工大学 一种基于TD3的机械手臂6-DOF物体操纵训练方法及系统