买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉哈尔滨工业大学申请的专利一种基于多智能体强化学习的变构型飞行器智能姿态控制方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119828728B 。

龙图腾网通过国家知识产权局官网在2025-08-22发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411951197.7，技术领域涉及：G05D1/46；该发明授权一种基于多智能体强化学习的变构型飞行器智能姿态控制方法及系统是由白成超;颜鹏;郑红星;张家维;陈亮;文振宇;胡砚洋设计研发完成，并于2024-12-27向国家知识产权局提交的专利申请。

本一种基于多智能体强化学习的变构型飞行器智能姿态控制方法及系统在说明书摘要公布了：本发明提供了一种基于多智能体强化学习的变构型飞行器智能姿态控制方法及系统，属于智能控制领域。为了解决在复杂的控制任务下，变构型高超声速飞行器模型复杂非线性、姿态控制性能发挥不充分的问题。本发明基于多智能体强化学习端对端进行变构飞行器姿态控制，采用多智能体协同的方式进一步提高探索能力和控制弹性基于多智能体系统的智能姿态控制方法，将变构型高超声速飞行器的多个控制通道视为独立的智能体，在同一环境中训练学习，并根据各自的状态进行分布式决策，以实现一种有效的智能控制方式。

本发明授权一种基于多智能体强化学习的变构型飞行器智能姿态控制方法及系统在权利要求书中公布了：1.一种基于多智能体强化学习的变构型飞行器智能姿态控制方法，其特征在于，包括以下步骤： S100、建立变构型飞行器姿态控制智能体的训练网络；具体包括： 采用软演员评论家算法进行智能姿态控制器的训练；每个智能体的动作价值函数表示为，其中，代表动作价值函数神经网络的参数；策略函数为，其中，代表策略函数神经网络的参数；代表智能体的观测量，代表智能体的执行动作； SAC算法的策略优化过程为： ； 其中，代表优化后的策略，代表在策略下的状态转移分布，代表智能体从观测量下执行动作获得的奖励，代表策略的熵，代表熵权重系数，用以平衡奖励与动作熵对策略的影响；代表第i个智能体在t时刻的观测量（o）、动作量（a）遵循状态转移分布，即根据观测量，在状态转移后得到动作；中的·代表所有可能的动作； 在SAC算法执行过程中，观测量的状态价值函数估计方式为： ； 其中，代表在第i个智能体在t时刻的观测量为o下的价值函数；代表第i个智能体在t时刻的动作量服从策略； 动作价值函数的估计方式为： ； 其中，γ代表折扣因子；代表第i个智能体在t+1时刻的观测量遵循状态转移分布； 在利用神经网络进行上式估计时，动作价值函数神经网络的学习方式是最小化以下损失函数： ； 其中，代表损失函数；代表第i个智能体的预测动作价值函数；代表t时刻第i个智能体的奖励；代表经验池，其中存储了智能体的经验，代表目标函数的神经网络参数，其更新方式为： ； 其中，代表目标函数神经网络参数的软更新率； 在SAC算法中，同时存在两个函数分别为、，两个网络将同时训练，在计算采用较小值以提高训练的稳定性； 策略神经网络参数的学习方式是最小化以下损失函数： ； S200、以姿态控制为目标，确定变构飞行器姿态三通道控制的观测空间和动作空间，将三个控制通道作为三个单独的智能体，通过在同一环境的交互训练，实现姿态控制的多智能体分布式控制，然后将三个通道对应的三个智能体分别对自身的观测量合并，最终得到各自独立的观测空间； S300、基于观测数据训练多智能体强化学习的变构飞行器姿态控制决策网络，设计奖励包含姿态收敛奖励、姿态稳定奖励、姿态发散惩罚和舵机抖动惩罚； 所述姿态收敛奖励用于将鼓励飞行器姿态往期望姿态收敛，且飞行器的实际姿态越接近期望姿态时，该奖励越大，当姿态与期望姿态超出一定值时，则不提供该奖励；此处记为姿态向量中的某一个姿态角误差的绝对值，、、分别为、、，其中，为倾侧角偏差量的绝对值，为侧滑角偏差量的绝对值，为攻角偏差量的绝对值；该奖励的具体设计为： ； 所述姿态稳定奖励用于使飞行器的姿态差较小时，避免发生过大的姿态震荡，当姿态角速度小于一定值时，提供该奖励；设计该奖励与第一项奖励耦合，该奖励具体设计为： ； 所述姿态发散惩罚用于防止姿态控制器探索危险区域，当姿态误差大于一定范围时提供该惩罚，同时将该回合结束；设置姿态角误差的危险值为，该奖励具体设计为： ； 所述舵机抖动惩罚用于防止舵机反复抖动及减少舵机的使用量，该项奖励需要同时考虑当前动作和上一个时刻的动作，根据舵机状态的变化量提供惩罚，具体设计为： ； 其中，代表第i个舵偏的最大值。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人哈尔滨工业大学，其通讯地址为：150001 黑龙江省哈尔滨市南岗区西大直街92号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。