买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉西安电子科技大学申请的专利一种基于Actor-Critic与人工势场的无人机模型预测控制方法、系统、设备及介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119645094B 。

龙图腾网通过国家知识产权局官网在2025-12-02发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411289231.9，技术领域涉及：G05D1/495；该发明授权一种基于Actor-Critic与人工势场的无人机模型预测控制方法、系统、设备及介质是由周绥平;师佳琦;李晨阳;郭峰;高继琛设计研发完成，并于2024-09-14向国家知识产权局提交的专利申请。

本一种基于Actor-Critic与人工势场的无人机模型预测控制方法、系统、设备及介质在说明书摘要公布了：一种基于Actor‑Critic与人工势场的无人机模型预测控制方法、系统、设备及介质，依次构建多种静态多障碍物环境与动态多障碍物环境、四旋翼无人机的动力学模型、基于人工势场的奖励值、基于Actor‑Critic和人工势场的无人机模型预测控制算法的网络；根据设置的网络参数，训练算法模型，并选取最优权重文件；将最优权重文件和基于Actor‑Critic和人工势场的无人机模型预测控制算法的网络输入到多种静态多障碍物环境与动态多障碍物环境中测试，得到无人机飞行路径图、奖励值r、路径长度L、路径最大扭曲度LS、路径全局扭曲度GS、是否发生碰撞和威胁指数结果；系统、设备及介质用于实现该方法；本发明可以有效地规划路径和及时避障，具有高实时性、强鲁棒性与避障及时等优点。

本发明授权一种基于Actor-Critic与人工势场的无人机模型预测控制方法、系统、设备及介质在权利要求书中公布了：1.一种基于Actor-Critic与人工势场的无人机模型预测控制方法，其特征在于，包括以下步骤： 步骤一：构建多种静态多障碍物环境与动态多障碍物环境； 步骤二：构建四旋翼无人机的动力学模型； 定义地理坐标系OIXI,YI,ZI与无人机机体坐标系OBXB,YB,ZB，无人机在地理坐标系OI中的位置向量定义为ζ： 无人机的速度向量ν定义为： 无人机在空间的姿态向量定义为η： 式3中的横滚角φ表示无人机沿着地理坐标系XI的旋转角度；俯仰角θ表示无人机沿着地理坐标系YI的旋转角度；航向角ψ表示无人机沿着地理坐标系ZI的旋转角度，欧拉角角速率向量ω为： 式4中，p，q，r分别为无人机在机体坐标系下沿XB，YB，ZB轴旋转的角速度； 步骤三：构建基于人工势场的奖励值； 步骤四：构建基于Actor-Critic和人工势场的无人机模型预测控制算法的网络； 所述步骤四的具体实现方法为： 无人机控制目的为轨迹跟踪控制，因此无人机系统的输出量定义为无人机在地理坐标系中的位置ζ与飞行过程中的航向角ψ，故无人机系统输出量Y为： 式15中，无人机系统输出量包括无人机在地理坐标系中的位置x,y,z与飞行过程中的航向角ψ； 在静态多障碍物环境动态多障碍物环境中设定无人机飞行目标状态Rk，无人机在飞行过程中对无人机状态Xk进行实时测量，并将测量到的无人机状态Xk反馈到输入端与目标状态Rk相减得到偏差Ek＝Rk-Xk，偏差Ek通过模型预测控制模块产生输出控制量Uk驱动无人机飞向目标位置，以消除偏差Ek；根据式1，式2，式3和式4，定义无人机系统的状态为定义无人机系统的控制输出量为U＝[U1U2U3U4]T，定义无人机系统的输出量为Y＝[xyzψ]T；对连续的状态空间模型进行离散化，无人机离散化线性状态空间模型为： Xk+1|k＝A·Xk+B·Uk16 式16中，k表示当前时间步，A表示系统状态的权重系数矩阵；B表示控制器输出的权重系数矩阵；Xk表示k时刻的无人机系统状态；Uk表示k时刻的控制器输出；Xk+1|k表示k时刻预测的k+1时刻无人机系统状态；即得到在预测区间N内的系统状态量Xk,N与控制量Uk,N分别为： Xk,N＝[Xk|kXk+1|k…Xk+N|k]T17 Uk,N＝[Uk|kUk+1|k…Uk+N-1|k]T18 式17中，Xk|k为k时刻的无人机状态量，Xk+1|k为k时刻预测的k+1时刻无人机状态量，Xk+N|k为k时刻预测的k+N时刻无人机状态量；式18中，Uk|k为k时刻的无人机控制输出量，Uk+1|k为k时刻预测的k+1时刻无人机控制输出量，Uk+N-1|k为k时刻预测的k+N-1时刻无人机控制输出量； 将式17，式18代入式16中，获得预测状态Xk,N为： Xk,N＝M·Xk+C·Uk,N19 式19中，Xk为k时刻的无人机状态量，M＝[IAA2…AN]T， 由于无人机的主要控制目标为跟踪期望轨迹，定义预测区间N内的期望轨迹Rk,N为： Rk,N＝[Rk|kRk+1|k…Rk+N|k]20 式20中，Rk+1为k+1时刻的期望状态量，Rk+2为k+2时刻的期望状态量，Rk+N为k+N时刻的期望状态量； 故在预测区间N内的轨迹误差量Xk,N为： Ek,N＝[[Rk|k-Xk|k][Rk+1|k-Xk+1|k]…[Rk+N|k-Xk+N|k]]21 式21中，[Rk|k-Xk|k]为k时刻的无人机系统状态误差量，[Rk+1|k-Xk+1|k]为k+1时刻的无人机系统状态误差量，[Rk+N|k-Xk+N|k]为k+N时刻的无人机系统状态误差量； 定义目标函数J： 式22中，Q和R分别为误差与控制量的权重系数矩阵； 将式18，式21代入式22，对式22进行简化得： J＝EkT·G·Ek+2EkT·F·Uk,N+Uk,NT·H·Uk,N24 式23中，式24中， 使用Actor-Critic算法，引入Actor策略网络和Critic评价网络，对无人机控制策略进行了改进，具体包括： k时刻回报returnGk的表达式为： 式25中，Rk+i为k+i时刻奖励，γ为损失因子； 如果评价网络Critic为状态价值statevalue的评价网络，输入为状态；评价网络Critic的损失函数计算公式采用均方误差损失函数，即TD误差值的累计平方值的均值，表达式如下： 式26中，Lcritic为当评价网络Critic为状态价值statevalue的评价网络时的损失函数，Vsk为k时刻状态sk对应的价值量，Vsk+1为k+1时刻状态sk+1对应的价值量； 如果评价网络Critic为动作价值actionvalue的评价网络，即输入为状态和动作，则评价网络Critic的损失函数如下： 式27中，Lcritic为当评价网络Critic为动作价值actionvalue的评价网络时的损失函数，Qsk,ak为k时刻，控制对象处于sk时，采取行动ak时，得到的奖励； Actor网络的优化目标如下： 式28中，π*代表最优策略，由于该公式表达的含义为当TD误差值大于0时增强该动作选择概率，当TD误差值小于0时减小该动作选择概率，所以目标为最小化损失函数-Lactor； 故评价网络Critic的值函数Vπs参数θq更新的公式为： 式29中，α1为下降步长，为下降梯度； 故Actor网络的策略函数πθs参数θπ更新的公式： 式30中，α2为下降步长，为下降梯度； 最小化目标函数J；将求解最优控制量的问题转化为如下二次优化问题： 式31中，Ukmin和Ukmax分别是控制量最小值与控制量最大值；Actor网络输出实时最优的F，H权重系数矩阵，评价网络Critic通过TDerror评价策略好坏；然后，求解该二次优化问题，获得预测区间N内的最优控制量序列Uk,N，之后选取序列中的第一项Uk+1|k作为当前k时刻的MPC控制器输出量，并进行滚动优化与反馈校正，控制四旋翼无人机进行轨迹跟踪； 步骤五：设置网络参数； 步骤六：根据步骤五设置的网络参数，将步骤三中构建的基于人工势场的奖励值输入至步骤四构建的基于Actor-Critic和人工势场的无人机模型预测控制算法的网络中，将步骤二中构建的四旋翼无人机的动力学模型作为控制对象，在步骤一构建的多种静态多障碍物环境与动态多障碍物环境中进行训练，每轮训练结束后输出训练权重文件；通过与之前的训练结果进行对比，选取奖励值最高并且路径最短的训练结果对应的训练权重文件作为最优权重文件； 步骤七：将步骤六得到的最优权重文件和步骤四构建的基于Actor-Critic和人工势场的无人机模型预测控制算法的网络输入到步骤一构建的多种静态多障碍物环境与动态多障碍物环境中进行测试，得到无人机飞行路径图、奖励值r、路径长度L、路径最大扭曲度LS、路径全局扭曲度GS、是否发生碰撞和威胁指数结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人西安电子科技大学，其通讯地址为：710071 陕西省西安市雁塔区太白南路2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。