买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国海洋大学

摘要：本发明公开了一种水下滑翔机攻角的深度强化学习决策方法，属于水下滑翔机技术领域。本发明以滑翔机采样的深度、俯仰角、航向角为数据基础，建立包含动态攻角信息的航位推算环境动力，将深度强化学习智能体纳入航位推算过程实现攻角的自主推理，并设计基于航位推算与实测卫星定位坐标误差的奖励系统，最终实现基于攻角动态智能决策的精准水下滑翔机航位推算及速度估计。本发明可为水下滑翔机海流观测等依赖滑翔机速度参考的观测任务提供高分辨、精度改善的水下滑翔机速度信息参考。

主权项：1.一种水下滑翔机攻角的深度强化学习决策方法，其特征在于，包括具体步骤如下：步骤1：收集汇总滑翔机采样数据，包括：滑翔机深度d、俯仰角P、航向角H；步骤2：确定航位推算控制参数；步骤3：实施强化学习攻角决策系统的初始化，采用带经验库的执行者-评论者网络推理水下滑翔机的攻角；所述执行者-评论者强化学习框架包含四套网络结构，分别为：执行者评估网络Ae、执行者目标网络At、评论者评估网络Ce和评论者目标网络Ct；步骤4：实施水下滑翔机航位推算过程的初始化；步骤5：确定强化学习攻角决策系统的状态和动作；步骤6：执行航位推算的前向环境动力过程：强化学习攻角决策系统输出的αi，结合滑翔机深度di、俯仰角Pi、航向角Hi的采样数据，依次计算滑翔机的水平速度vhi、水平速度的北向分量vyi和东向分量vxi、以及滑翔机的水平位移xi,yi；接下来，根据滑翔机的水平位移更新disi，并基于更新后的距离确定强化学习奖励Ri；步骤7：收集强化学习经验库；强化学习的经验由状态Oi、动作αi、奖励Ri以及转移状态O’i构成，随训练回合推进依次加入经验库，经验库存储完毕则弹出最初经验；步骤8：从强化学习经验库采样并训练执行者和评论者网络：训练过程首先从经验库采集批处理容量大小的经验；采集的第k组经验中，O’k通过At计算状态转移动作，并通过Ct计算动作-状态价值的真值QTk；Ok通过Ae计算动作-状态价值的预测值QPk；再通过QTk与QPk之间的均方误差计算评论者损失Closs；由于执行者模块的目标是最大化评论者模块的输出，因此，首先通过Ae推理Ok的动作，并将该动作输入Ce计算动作-状态价值，其负值即为执行者损失Aloss；求得损失后，实施参数梯度的反向传播，实现执行者-评论者评估网络的更新；步骤9：采用episilon-greedy机制探索参数衰减：带衰减的epsilon-greedy动作决策方式，为在动作决策步骤内生成一随机数Γ，若小于ε参数，则在动作分布内随机抽取动作；若大于ε参数，则基于执行者评估网络确定动作；每一步推理过后，ε参数按衰减因子衰减，从而逐步降低自主探索的概率；步骤10：通过最大化回合奖励引导强化学习攻角决策的改进，即通过基于推算航位误差的奖励引导滑翔机攻角的决策改进：强化学习攻角决策系统的奖励Ri为负的滑翔机当前水平位置与末端卫星定位坐标的距离disi，关于初始距离dis0的比值：Ri=-disidis0，强化学习攻角决策系统每一回合的奖励Re为全体决策步的奖励之和；因此，序贯决策的攻角对滑翔机航位推算通过回合奖励评估，通过最大化回合奖励，实现以最小化末端卫星定位坐标距离disi的攻角决策目标；步骤11：输出奖励获取表现最好的网络参数及攻角序列。

全文数据：

权利要求：

百度查询： 中国海洋大学 一种水下滑翔机攻角的深度强化学习决策方法