买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国民航大学

摘要：本发明涉及人工智能领域，提供一种机场场面滑行路径生成方法、电子设备和存储介质，包括：基于图结构对机场场面跑滑环境进行数字建模，构建了航空器滑行路径自动生成的马尔科夫决策过程，根据滑行路径的特点设计了奖励函数，以及基于机场场面滑行规则和滑行约束条件选择可执行动作，并结合深度强化学习自动获取滑行路径，从而能够更准确更高效的引导航空器滑行至目标位置。

主权项：1.一种航空器滑行路径获取方法，其特征在于，所述方法包括如下步骤：S100，构建机场场面跑滑环境的网格结构图G以及构建结构相同的训练Q网络和目标Q网络；其中，G=（V，E，W），V为节点集合，V={v1，v2，……，vi，……，vn}，vi为V中的第i个节点，i的取值为1到m，m为V中的节点数量，节点为机场场面跑滑环境中的交叉路口；E为路段集合，E={e1，e2，……，ej，……，em}，ej为E中的第j个路段，j的取值为1到m，m为E中的路段数量；W为路段权重值集合，W={w1，w2，……，wj，……，wm}，wj为ej的路段权重值；其中，训练Q网络的参数实时更新，目标Q网络的参数按照设定更新周期q进行更新；S200，基于所述机场场面跑滑环境中的航空器的历史滑行数据生成历史四元组信息集，以及基于所述训练Q网络获取每个历史四元组信息的优先级，作为初始样本数据集并存放至经验回放区；第g个初始样本数据包括（sg，ag，rg，snextg，Pg），sg为第g个初始样本数据对应的当前节点所处状态，ag为第g个初始样本数据对应的当前节点选择的动作，rg为第g个初始样本数据对应的当前节点选择动作ag后得到的即时奖励，snextg为第g个初始样本数据对应的当前节点选择动作ag后进入的下一节点所处状态的状态信息，Pg为第g个初始样本数据的优先级；g的取值为1到n，n为初始样本数据的数量；其中，经验回放区的数据按照优先级由高到低的顺序排序；样本数据的优先级基于对应的时序差误差和即时奖励确定；所述即时奖励包括目标奖励、避障奖励和探索奖励；S300，基于G生成N个路径信息；第h个路径信息包括（SPh，EPh），SPh为第h个路径信息对应的起始节点，EPh为第h个信息对应的结束节点，h的取值为1到N；S400，设置迭代次数计数器c=1；S500，设置航空器从SPh滑行至EPc，航空器基于ε贪婪策略选择当前状态sc对应的动作ac，并执行该动作，得到对应的即时奖励rc和新的状态snextc，得到对应的四元组信息（sc，ac，rc，snextc），并获取四元组信息（sc，ac，rc，snextc）的优先级Pc，得到对应的五元组信息（sc，ac，rc，snextc，Pc）并存放至当前的经验回放区中；S600，从当前的经验回放区中利用优先经验回放方法采样预设数量的四元组信息，作为训练样本数据，将每个训练样本数据中的下一节点所处状态snext输入至当前训练Q网络中，得到对应的最优动作amin；以及将每个四元组信息中的当前节点所处状态s和对应的动作a输入至当前训练Q网络中，得到对应的第一Q值Q1，以及将每个四元组信息对应的snext和amin输入至当前目标Q网络中，得到对应的第二Q值Q2；其中，训练Q网络和目标Q网络选择根据机场场面的滑行规则和滑行约束条件选择动作；S700，基于Q1和Q2，利用梯度下降方式更新当前训练Q网络的参数；如果（cq）为整数，利用当前训练Q网络的参数更新当前目标Q网络的参数，并执行S800；S800，如果snextc不是终止状态，控制航空器进入snextc，执行S500；否则，获取航空器对应的总奖励Rc=rscg+rsca+rsce+rcn，并执行S900；rscg为该航空器对应的总目标奖励，rsca为该航空器对应的总避障奖励，rsce为该航空器对应的总探索奖励，rcn为该航空器对应的内在奖励；所述内在奖励随着迭代次数的增加而减少；S900，设置c=c+1，如果c≤N，执行S500；如果c＞N，如果c个总奖励中的最小奖励的数量A≥P0，退出当前控制程序，将当前训练Q网络作为最终的预测网络，如果A＜P0，更新N，执行S500；P0为预设数量阈值。

全文数据：

权利要求：

百度查询： 中国民航大学 一种机场场面滑行路径生成方法、电子设备和存储介质