买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：山东大学

摘要：本公开提供了一种基于深度强化学习和CPG的机器人运动控制方法，其属于机器人运动控制技术领域，包括：实时获取机器人的状态信息；其中，所述状态信息基于预先构建的状态空间，通过机器人本体设置的传感器获得；基于所述状态信息，利用预先训练好的DDPG模型，获得所述机器人当前状态信息下对应的动作；将所述动作作为反馈调整量对预先构建的CPG模型所输出的参考轨迹上的足部姿势进行调整，将所述参考轨迹输出作用到机器人各关节电机中，实现机器人的运动控制。

主权项：1.一种基于深度强化学习和CPG的机器人运动控制方法，其特征在于，包括：实时获取机器人的状态信息；其中，所述状态信息基于预先构建的状态空间，通过机器人本体设置的传感器获得；基于所述状态信息，利用预先训练好的DDPG模型，获得所述机器人当前状态信息下对应的动作；将所述动作作为反馈调整量对预先构建的CPG模型所输出的参考轨迹上的足部姿势进行调整，将所述参考轨迹输出作用到机器人各关节电机中，实现机器人的运动控制；所述CPG模型的整体数学表达式如下： 其中，x、y是Hopf振荡器的状态变量，i＝1,2,3,4，α＞0是一个常数，决定状态变量的收敛速度，ω表示振荡器的震荡频率，θhi为第i条腿的俯仰髋关节角度控制信号，θki为第i条腿的俯仰膝关节角度控制信号，Ak、Ah分别为膝关节和髋关节的摆动幅值，μ＝Ah2，sgnψ是符号函数，其中ψ表示关节类型；所述预先训练好的DDPG模型及预先构建的CPG模型组成所述机器人运动控制器，具体包括开环部分和反馈调整部分，其中，所述开环部分采用经典的步态控制方法，通过CPG模型提供参考轨迹；所述反馈调整部分由所述DDPG模型构成，基于DDPG模型的输出对参考轨迹上的足部姿势进行调整；所述机器人运动控制器的输出具体表示如下：a＝ac+μap其中，ac表示开环部分的输出，是髋膝关节参考轨迹曲线，ap是反馈调整部分的输出，作为反馈调整量对参考轨迹进行调整，μ为控制参数，用于调整强化学习输出量的大小；四足机器人步态学习的奖励函数包含如下三部分： 其中，r1给予运动激励，引导机器人产生运动行为；r2给予目标位置导向激励，引导机器人朝目标方向运动；r3给予稳定性激励，引导机器人保持机身稳定；pt和pt-1分别为当前时刻和前一时刻机器人在目标方向上距离初始位置的前进距离，k1为大于零的奖励系数；θt是当前时刻机器人朝向，θtarget为机器人期望目标方向，k2为大于零的奖励系数；r31和r32分别是从机器人横滚角和俯仰角变化情况给予稳定性判断的奖励函数，k3为大于零的奖励系数。

全文数据：

权利要求：

百度查询： 山东大学 基于深度强化学习和CPG的机器人运动控制方法及系统