买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京航空航天大学

摘要：本发明公开了一种面向低截获概率的无人机集群动态区域覆盖方法。该发明属于无人机领域，主要解决了无人机在一些敌我对抗激烈的子战场中完成对我方地面战车的通信覆盖并且降低被敌方雷达截获概率，同时保持无人机之间连通性的问题。所提方法通过将无人机集群对地面作战车的动态区域覆盖问题建模成部分可观测马尔可夫决策过程，利用深度强化学习对问题进行求解。本方法引入两个Critic网络和一个Actor网络对“演员‑评论家”架构进行了重新设计。引入延迟更新策略实现了“探索与利用”之间的平衡。同时，设计了奖励值增强的优先经验回放机制实现了价值较高经验的利用率。大量仿真结果表明，本方法无论是在收敛性能方面还是在信息传输率、无人机网络连通性以及联合截获概率方面都比传统方法更优。

主权项：1.一种面向低截获概率的无人机集群动态区域覆盖方法，所采用的步骤是：步骤1：根据强化学习的相关理论知识，本发明将无人机对地面作战车的通信覆盖过程建模成为一个部分可观测的马尔可夫决策过程。一个部分可观测的马尔可夫决策过程通常可由一个七元组表示：S，A，P，R，Ω，O，γ，其中S表示状态空间，A表示动作空间，P∈[0，1]表示智能体从当前状态s转移到一个状态s’的状态转移概率，R代表奖励函数，Ω为观测概率，O为观测空间，γ∈[0，1]是折扣因子；步骤2：建立环境模型：在本发明中，将无人机对地面战车的通信覆盖建模为空地通信模型；考虑无人机在战场中会遇到敌方雷达的探测，对敌方雷达探测进行建模；为了降低雷达威胁，对无人机的天线建模为方向可变的天线模型。同时，考虑目标战车的移动，将目标的移动建模为高斯马尔科夫随机模型；步骤3：根据低截获率的无人机集群动态区域覆盖场景，设计出一套本发明特有的奖励函数，用来加快模型的收敛速度和学习效率；该奖励函数主要包含六部分：无人机到目标的距离奖励r1；无人机发射的电磁信号被截获的奖励r2；无人机网络的连通性奖励r3；无人机与目标进行信息传输的奖励r4；截获概率阈值有关的奖励r5；无人机对所有目标完成通信覆盖任务的奖励r6；步骤4：提出在敌我对抗等战场环境下的无人机集群动态区域覆盖方法，该方法从敌我对抗战场环境下无人机对地面作战车进行通信覆盖的任务出发，利用MATD3-PEPMulti-AgentTwinDelayedDeepDeterministicPolicyGradientwithpriorityexperienceplaybackAlgorithm方法，由无人机集群使用自身配备的传感器对所处环境进行观测，通过不断学习、环境探索对深度神经网络模型进行更新，训练好的网络模型可适用于低截获概率的战场环境下无人机的动态区域覆盖任务。

全文数据：

权利要求：

百度查询： 南京航空航天大学 一种面向低截获概率的无人机集群动态区域覆盖方法