买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：四川大学

摘要：本发明公开了一种基于安全强化学习的近距空战机动决策优化方法，主要解决现有方法无法兼顾机动决策最优性、实时性、决策安全性和可移植性的问题。该方法包括以下步骤：S1，建立决策网络的状态输入模型；S2，建立我方红机连续动作空间模型；S3，建立近距空战态势评估函数，使我方红机未来时刻的相对态势符合决策网络输出的权重倾向；S4，建立近距空战机动决策最优控制问题的目标函数；S5，得到近距空战机动决策最优控制问题，并求解，得到基于安全强化学习的近距空战机动决策。本发明在强化学习训练架构设计上，通过加入可实时决策的机动决策安全优化模块，保证了机动决策优化的安全性和机动决策的底层六自由度可跟踪性。

主权项：1.一种基于安全强化学习的近距空战机动决策优化方法，其特征在于，包括以下步骤：S1，基于我方红机和蓝方敌机的位置和速度矢量，建立决策网络的状态输入模型；S2，根据决策网络的输出映射我方红机在相对距离、相对高度、相对速度、方位角的机动决策优化倾向权重，建立我方红机连续动作空间模型；S3，建立近距空战态势评估函数，使我方红机未来时刻的相对态势符合决策网络输出的权重倾向；其中，近距空战态势评估函数为：J＝adTd+ahTh+avTv+aφqTφq式中，Td为相对距离优势函数，Th为相对高度优势函数，Tv为相对速度优势函数，Tφq为进入角和方位角优势函数；其中，相对距离优势函数为： 式中，σd为坡度参数，d0为两机当前时刻距离，d*机载武器最大攻击范围；相对高度优势函数为： 式中，σh1、σh2为坡度参数，[Δhmin,Δhmax]为最佳相对高度区间，Δh0为我方红机机与敌方蓝机的当前时刻相对高度；相对速度优势函数为： 式中，Δv*为我机最佳相对速度；进入角和方位角优势函数为： S4，根据三自由度质点动力学模型，以近距空战态势评估函数的终端时刻值建立近距空战机动决策最优控制问题的目标函数；S5，根据目标函数，得到近距空战机动决策最优控制问题，并采用离散控制参数化对近距空战机动决策最优控制问题进行简化求解，得到基于安全强化学习的近距空战机动决策；其中，得到的近距空战机动决策最优控制问题为： s.t.xk+1＝xk+fxk，ukΔtk＝1，2，...，M，M＝tfΔtx0＝x0 式中，M为时间段等分离散数量；Δt为离散步长，其表达式为：Δt＝t0-tfM；式中，t0表示当前时刻；进行离散处理后的状态量和控制量分别为：ut≈[u0T，u1T，...，uM-1T]Txt≈[x0T，x1T，...，xMT]T。

全文数据：

权利要求：

百度查询： 四川大学 基于安全强化学习的近距空战机动决策优化方法