买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉福州大学申请的专利面向多智能体输入时滞系统的强化学习编队方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116339315B 。

龙图腾网通过国家知识产权局官网在2025-08-01发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310081659.3，技术领域涉及：G05D1/43；该发明授权面向多智能体输入时滞系统的强化学习编队方法是由黄捷;邵文泰;陈宇韬;程俊哲设计研发完成，并于2023-01-19向国家知识产权局提交的专利申请。

本面向多智能体输入时滞系统的强化学习编队方法在说明书摘要公布了：本发明涉及一种面向多智能体输入时滞系统的强化学习编队方法，包括：建立关于一阶多智能体系统之间的通讯拓扑图；建立系统中其余智能体与领航者智能体之间的跟踪误差；设计每个智能体的编队误差；引入新的系统变量，进而得到新的无时滞多智能体系统的动力学模型方程；建立系统中的跟踪误差并建立无时滞系统的编队误差；考虑一个控制器，当其使得无时滞系统达到编队一致时，原多智能体系统也可达到编队一致；建立两个系统对应的性能指标函数，使两个系统共同达到最优的条件；建立HJB方程；采用基于演员‑评论家网络结构方法建立基于强化学习的最优控制器；进行演员与评论家网络更新律的设计。该方法可以在保证编队一致和最优性的同时能够缩减计算时间。

本发明授权面向多智能体输入时滞系统的强化学习编队方法在权利要求书中公布了：1.一种面向多智能体输入时滞系统的强化学习编队方法，其特征在于，包括如下步骤： 步骤一：针对具有控制输入时滞的一阶多智能体系统，采用图论理论，建立关于一阶多智能体系统之间的通讯拓扑图；所述通讯拓扑图为无向图，即智能体能够取得相邻智能体信息并且能够将自身信息发送给相邻智能体；此外，指定多智能体系统中一智能体作为领导者智能体，并为其设置规定的移动轨迹，其余智能体按照一定的编队距离跟随领导者智能体进行移动以达成编队移动目标； 步骤二：根据步骤一建立的通讯拓扑图，建立系统中其余智能体与领航者智能体之间的跟踪误差，即跟踪误差等于领航者智能体位置减去智能体i的位置；同时，由每个智能体间的跟踪误差，结合设置的领航者与其余智能体间的距离差值，设计系统中每个智能体的编队误差； 步骤三：根据模型转换方法，引入一个新的系统变量，并建立其与具有控制输入时滞的多智能体系统位置变量的联系，对新的系统变量进行求导，得到一个新的无时滞多智能体系统的动力学模型方程； 步骤四：针对步骤三得到的无时滞多智能体系统，根据步骤一建立的通讯拓扑图，建立系统中的跟踪误差，并采用步骤二设置的距离差值，建立无时滞系统的编队误差； 步骤五：针对具有控制输入时滞的多智能体系统以及步骤三建立的无时滞多智能体系统，考虑一个控制器，证明控制器能够使得步骤三建立的无时滞多智能体系统达到编队一致，并且当控制器使得无时滞系统达到编队一致时，原具有控制输入时滞的多智能体系统也能达到编队一致； 步骤六：针对具有控制输入时滞的系统，以及步骤三建立的无时滞多智能体系统，考虑最优控制理论，建立两个系统对应的性能指标函数，通过证明得到两个系统能够共同达到最优的条件； 步骤七：根据步骤三的无时滞多智能体系统的性能指标函数，以及性能指标函数中的效用函数，建立其相应的哈密顿-雅可比-贝尔曼方程，并对该方程进行求关于控制输入的偏导，得到控制输入关于性能指标函数梯度相的表达形式； 步骤八：对步骤七得到的性能指标函数的梯度相进行参数分离，并得到控制输入的分离形式，并采用基于演员-评论家网络结构方法建立基于强化学习的最优控制器； 步骤九：针对传统方法中对贝尔曼残差求导得到网络更新律的方法进行改进，考虑一个简单正函数与贝尔曼残差求更新律方法进行等效，并根据简单正函数的导数设计演员与评论家网络的更新律。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人福州大学，其通讯地址为：350108 福建省福州市闽侯县福州大学城乌龙江北大道2号福州大学；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。