西北工业大学张耀中获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉西北工业大学申请的专利一种基于M2GPI的无人机一对一追逃博弈方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116796844B 。
龙图腾网通过国家知识产权局官网在2025-09-26发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310654005.5,技术领域涉及:G06N5/04;该发明授权一种基于M2GPI的无人机一对一追逃博弈方法是由张耀中;吴卓然;许天越;张建东;史国庆;杨啟明设计研发完成,并于2023-06-04向国家知识产权局提交的专利申请。
本一种基于M2GPI的无人机一对一追逃博弈方法在说明书摘要公布了:本发明提供了一种基于M2GPI的无人机一对一追逃博弈方法,构建无人机一对一虚拟追逃博弈场景,确定非完整运动约束条件和环境范围约束条件,分别构建追捕无人机和逃逸无人机的奖励函数,引入M2GPI算法,构建追逃双方无人机的初始追逃博弈模型,对追逃双方无人机的初始追逃博弈模型进行训练,运用无人机一对一追逃博弈的最终模型可实时输出追捕无人机的策略。本发明的M2GPI算法在MinimaxQ算法的基础上进行了改进发展,通过加入神经网络和广义策略迭代的方法,提高了模型的收敛速度,训练完成的追逃博弈模型具有不错的可迁移性,可以直接运用在各类场景和态势下的无人机一对一追逃任务中,并且无人机追捕成功率较高。
本发明授权一种基于M2GPI的无人机一对一追逃博弈方法在权利要求书中公布了:1.一种基于M2GPI的无人机一对一追逃博弈方法,其特征在于包括下述步骤: S1:构建无人机一对一虚拟追逃博弈场景; S2:确定追捕无人机和逃逸无人机在所述追逃博弈场景中的非完整运动约束条件和环境范围约束条件; S3:分别构建追捕无人机和逃逸无人机的奖励函数;奖励函数用于评估追逃双方无人机在某一特定状态下对某一动作的执行情况,并输出奖励值; S4:引入M2GPI算法,并结合非完整运动约束条件、环境范围约束条件和奖励函数,分别构建追逃双方无人机的初始追逃博弈模型; M2GPI算法的更新过程为: S4.1:使用深度神经网络对Q学习中的Q值表进行模拟,利用神经网络的计算模拟能力,使得算法模型能够在连续、复杂的追逃环境中稳定收敛;构建三个结构相同的全连接神经网络,即真实Q网络、追捕无人机玩家Q1网络和逃逸无人机对手Q2网络,真实Q网络参数为ω,实时更新参数,Q1网络参数为ω1,每隔100步将真实Q网络的参数ω传给ω1进行更新,Q2网络参数为ω2,每隔1000步将真实Q网络的参数ω传给ω1进行更新; S4.2:初始化回放记忆单元buffer,并将环境和状态进行初始化,采用广义策略迭代的方法,在值函数未收敛时进行策略改进,减少计算量,同时还有一个探索提升的过程,加快收敛速度,提升了追逃模型的收敛速度; S4.3:追捕无人机和逃逸无人机的动作选择采用ε-greedy策略进行动作选择,即追捕无人机以ε的概率随机选择动作,以1-ε的概率选择值Q值最大的动作;逃逸无人机以ε的概率随机选择动作,以1-ε的概率选择值Q值最小的动作; S4.4:得到环境反馈奖励和下一时刻状态,向buffer中存储样本,将每一步的追逃无人机的信息s,a,o,r,s'保存至存放缓存区buffer中用于网络的训练,其中s为此时刻无人机状态信息,a为此时刻无人机采取的动作,o为此时刻无人机的观测信息,r为此时刻无人机的奖励值,s'为无人机采取动作后下一时刻的状态信息; S4.5:从回忆回放单元中取出batch数量的样本s,a,o,r,s',根据损失函数进行网络训练更新,真实Q网络的参数每一轮实时训练更新; S4.6:当真实Q网络的训练轮数达到Q1网络更新的回合时,则开始更新Q1网络,否则Q1网络参数不更新,继续使用之前的参数输出结果; S4.7:当真实Q网络的训练轮数达到Q2网络更新的回合时,则开始更新Q2网络,否则Q2网络参数不更新,继续使用之前的参数输出结果; S4.8:神经网络参数更新之后,判断当前仿真回合是否结束,若未结束,则追捕无人机和逃逸无人机的动作选择采用ε-greedy策略选取行为与环境进行交互;若当前回合已结束,则本轮训练完成; S4.9:本轮训练完成后,判断整个训练过程是否结束,若未结束,则回到环境初始化步骤,重新开始一轮新的仿真训练,若整个训练过程全部结束,则完成训练; S5:对追逃双方无人机的初始追逃博弈模型进行训练,获得训练过程中的交互数据,并利用交互数据不断对无人机的真实Q网络、玩家Q1网络和对手Q2网络进行更新,在训练完成后得到无人机一对一追逃博弈的最终模型; S6:运用无人机一对一追逃博弈的最终模型可实时输出追捕无人机的策略; 在训练完成后,得到最终的无人机一对一追逃博弈模型,将追逃无人机的状态信息实时输入到模型的神经网络中,得到追逃无人机的动作选择,控制追捕无人机完成对逃逸无人机的追捕任务,任务成功率较高。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人西北工业大学,其通讯地址为:710072 陕西省西安市友谊西路127号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励