买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：云南大学

摘要：本发明涉及电机控制技术领域，且公开了一种基于深度强化学习的电机减震柔性控制方法，构建电机传递函数模型之后，对柔性电机启停速度规划曲线进行设置，基于Actor‑Critic框架构建深度强化学习控制器，深度强化学习控制器包括观测向量模块、奖励模块和停止模块，初始化Actor‑Critic网络的参数，包括观测向量、网络权重和经验池。该方法通过在电机控制系统中引入DDPG算法，该系统不需先验知识即可通过与环境的动态互动直接优化其奖励结构，强化学习智能体模块在经过深入训练后能够习得当前状态下的最优决策有效捕捉系统的非线性行为而不引入不必要的噪声或信息损失，此外方法避免了传统自适应控制方法中由参数设置不佳所带来的反应迟缓和稳定性差的问题。

主权项：1.一种基于深度强化学习的电机减震柔性控制方法，其特征在于：包括以下步骤：S1、构建电机传递函数模型，具体包括以下步骤：S1.1、建立电机绕组A、B、C相的相电压平衡方程和电机转子力矩平衡方程，具体表达式如下：相电压平衡方程： 其中，uA、uB、uC分别表示电机A、B、C相的电压，iA、iB、iC分别表示电机A、B、C相的电流，R表示电机A、B、C相的绕组电阻，L表示电机A、B、C相的电感，θ表示电机转子转动角度，ω表示电机转子角速度，Km表示电机力矩常数，Zr表示齿轮齿数，分别表示电机A、B、C相的电流iA、iB、iC对时间t的一阶导数，π表示180°角的弧度制表示，sin*表示正弦函数；电机转子力矩平衡方程： 其中，iA、iB、iC分别表示电机A、B、C相的电流，Km表示电机力矩常数，θ表示电机转子转动角度，Zr表示齿轮齿数，表示θ对时间t的二阶导数，J表示电机当前负载惯量与电机转子惯量总和，D表示粘滞摩擦系数，T1表示负载力矩，sin*表示正弦函数；S1.2、以增量式的形式表达电机运动方程，具体表达式如下： 其中，iA表示电机A相的电流，L1表示电机A相的自电感，Zr表示齿轮齿数，表示δθ对时间t的一阶导数，表示δθ对时间t的二阶导数，J表示电机当前负载惯量与电机转子惯量总和，D表示粘滞摩擦系数，sin*表示正弦函数，δ表示单位时间转动角度的变化量；S1.3、对步骤S1.2中的表达式进行反拉普拉斯变换得到电机的传递函数模型，具体表达式如下： 其中，Gs表示电机的传递函数模型，Zr表示齿轮齿数，J表示电机当前负载惯量与电机转子惯量总和，D表示粘滞摩擦系数，θ1s和θ2s分别表示电机转子标准旋转角度和电机转子实际的旋转角度；S2、对柔性电机启停速度规划曲线进行设置，具体包括以下步骤：S2.1、确定柔性电机启停速度规划曲线的起始速度V0、目标速度Vsp和规划时间T；S2.2、计算跟踪误差delta_V；S2.3、将速度规划曲线分为三个阶段，分别为：加速运动阶段、匀速运动阶段和减速运动阶段；S2.4、加速运动阶段和减速运动阶段是两条对称的速度曲线，采用含平滑因子的Sigmoid函数生成S-曲线，加速阶段和减速阶段的速度曲线表达式如下：加速阶段的速度曲线：Vt＝V0+delta_V*sigmoidT-t0t1减速阶段的速度曲线：Vt＝Vsp+delta_V*sigmoidt3-Tt2其中，Vt表示t时刻的速度，V0表示起始速度，Vsp表示目标速度，delta_V表示跟踪误差，sigmoid*表示sigmoid函数，t1表示加速阶段的时间，t0表示起始时刻，t3表示结束时刻，t2表示减速阶段的时间；S2.5、当速度达到规定速度后，保持不变，进入匀速运动阶段，具体表达式如下：Vt＝Vsp其中，Vsp表示目标速度；S3、基于Actor-Critic框架构建深度强化学习控制器，所述深度强化学习控制器包括观测向量模块、奖励模块和停止模块，所述观测向量模块用于对观测到的电机状态误差做积分计算，即接收步骤S2中的速度规划曲线和步骤S1中的数据，所述奖励模块通过奖励函数调整当下时刻策略，所述停止模块中设置有结束当前训练轮次的限定条件，所述深度强化学习控制器还包括强化学习智能体模块，所述强化学习智能体模块用于被Actor-Critic网络进行训练和评估；S4、初始化Actor-Critic网络的参数，包括观测向量、网络权重和经验池，并对步骤S3中强化学习智能体模块进行训练；S5、判断强化学习智能体模块当前训练结果是否已达到了理论设置的目标值，若已达到目标值，将训练后的强化学习智能体模块加载至深度强化学习控制器中，反之，则继续训练；S6、将深度强化学习控制器用于电机的柔性控制，若电机满足实际控制需求，则完成控制，若不满足则重复上述步骤S1-S6。

全文数据：

权利要求：

百度查询： 云南大学 一种基于深度强化学习的电机减震柔性控制方法