买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：上海交通大学;中船智海创新研究院有限公司

摘要：本发明涉及一种基于模型融合的机械臂执行任务的控制方法，属于机器人控制技术领域，解决了现有机械臂执行多任务时完成效果不好的问题。包括：将融合模型部署至机械臂的控制系统中，融合模型是根据权重对多个训练好的强化学习模型的参数进行加权而得到；初始化机械臂的工作环境，基于任务采集物体和目标的信息，获取状态空间；将状态空间传入融合模型，融合模型的策略网络输出动作空间，根据动作空间控制机械臂执行相应动作后，更新状态空间，再将更新后的状态空间传入融合模型，直至根据输出的动作空间控制机械臂完成任务。实现了计算量小且准确度高的任务控制。

主权项：1.一种基于模型融合的机械臂执行任务的控制方法，其特征在于，包括以下步骤：将融合模型部署至机械臂的控制系统中，所述融合模型是根据权重对多个训练好的强化学习模型的参数进行加权而得到；初始化机械臂的工作环境，基于任务采集物体和目标的信息，获取状态空间；将所述状态空间传入融合模型，所述融合模型的策略网络输出动作空间，根据动作空间控制机械臂执行相应动作后，更新状态空间，再将更新后的状态空间传入融合模型，直至根据输出的动作空间控制机械臂完成任务；所述强化学习模型包括策略网络和价值网络，基于仿真环境采用策略梯度算法通过以下两种方式训练得到：一种是面向相同的任务，通过不设置随机种子，在目标与物体属性、动作空间、状态空间、奖励函数完全相同的情况下训练得到；第二种是面向不同的任务，通过不设置随机种子，在动作空间、状态空间、奖励函数相同但目标与物体属性不同的情况下训练得到；所述权重通过以下步骤得到：基于每个强化学习模型，将机械臂与仿真环境交互多次产生的各条数据构建为样本集；利用样本集训练输出为奖励值的神经网络，得到奖励函数网络；在奖励函数网络的输入层前增加权重层形成权重网络，基于每个强化学习模型，利用以相同的状态空间与仿真环境交互一次产生的数据训练权重网络，得到权重层对应的每个强化学习模型的权重；所述将机械臂与仿真环境交互多次产生的各条数据构建为样本集，包括：将每条数据中的当前时刻的状态空间，以及，动作空间各维度的均值和方差作为一条样本，将每条数据中的仿真环境反馈的奖励值作为对应样本的样本标签，放入样本集中；所述仿真环境反馈的奖励值，是当前时刻物体与目标之间的距离的负数；所述状态空间包括：当前时刻的观测值、上一时刻的观测值和当前时刻的目标位置，其中所述观测值包括：末端执行器位置、末端执行器归一化后的开闭程度、物体位置和物体移动速度；所述动作空间包括：末端执行器位置和末端执行器归一化后的开闭程度。

全文数据：

权利要求：

百度查询： 上海交通大学 中船智海创新研究院有限公司 一种基于模型融合的机械臂执行任务的控制方法