买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜南京太司德智能科技有限公司申请的专利一种无人机轨迹跟踪状态补偿深度确定性策略梯度控制方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114967472B 。

龙图腾网通过国家知识产权局官网在2025-04-18发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210687553.3，技术领域涉及：G05B13/04；该发明授权一种无人机轨迹跟踪状态补偿深度确定性策略梯度控制方法是由吴吉莹;杨忠;廖禄伟;何乃峰;王志永;王灿设计研发完成，并于2022-06-17向国家知识产权局提交的专利申请。

本一种无人机轨迹跟踪状态补偿深度确定性策略梯度控制方法在说明书摘要公布了：本发明公开了一种无人机轨迹跟踪状态补偿深度确定性策略梯度控制方法，采用深度确定性策略梯度算法，网络结构包括控制网络、评价网络和补偿网络，将控制网络的控制量输出与补偿网络的补偿输出相结合作为输出控制量与环境交互，评价网络对输出控制量进行价值评价，使无人机能够以最精确、连续、平滑的方式快速跟踪动态目标；在生成控制量的基础上加入随机噪声，实现一定范围的探索，使控制量值估计更加准确。本发明针对基于深度强化学习的无人机轨迹跟踪控制算法在未知环境下训练效率低，收敛性不稳定的情况，提出了一种结合状态补偿网络的状态补偿深度确定性策略梯度算法，能够显著提高无人机在轨迹跟踪任务中的训练效率和收敛性稳定性。

本发明授权一种无人机轨迹跟踪状态补偿深度确定性策略梯度控制方法在权利要求书中公布了：1.一种无人机轨迹跟踪状态补偿深度确定性策略梯度控制方法，其特征在于，包括以下步骤：S1、建立无人机动态跟踪的马尔可夫决策过程元组S,A,P,R,γ，S是有限状态集，A是有限控制量集，P是基于控制量的状态转移概率矩阵，R是基于状态和控制量的奖励函数，γ为衰减因子；S2、建立无人机动态跟踪的运动状态方程；S3、分别构建第一控制网络、第一评价网路、第一补偿网络以及对应的具有相同网络结构的第二控制网络、第二评价网络、第二补偿网络；S4、执行各网络，获得状态转移过程，并将所有状态转移过程存入经验回放池；将无人机当前状态st分别输入到第一评价网络、第一控制网络和第一补偿网络，将第一控制网络的输出输入第一补偿网络，同时将第一控制网络的输出与第一补偿网络的输出相加并加入随机噪声后作为第一控制量a与环境交互获得奖励Rt+1，并使无人机进入下一状态st+1，指导无人机执行跟踪动态目标，同时将第一控制量作为第一评价网络的输入，第一评价网络根据无人机当前状态st和第一控制量进行价值评价，输出第一评价价值；将无人机下一状态st+1分别输入到第二评价网络、第二控制网络和第二补偿网络，将第二控制网络的输出输入第二补偿网络，同时将第二控制网络的输出与第二补偿网络的输出相加作为第二控制量输入第二评价网络，第二评价网络根据无人机下一状态st+1和第二控制量进行价值评价，输出第二评价价值，第二评价价值通过与奖励的运算获得目标价值QTarget；接着系统重复上述过程，将无人机下一状态st+1作为下一过程中的当前状态st进行后续过程，将上述过程中的st,a,Rt+1,st+1描述为一个转移过程，经过多次环境交互后产生多个转移过程均用st,a,Rt+1,st+1表示，将所有状态转移过程st,a,Rt+1,st+1存入经验回放池；S5、从经验回放池中随机批量采样X个转移过程si,ai,Ri+1,si+1，i＝1,2,…,X为采样顺序，计算各第一评价价值和目标价值的时序差分误差，通过目标梯度函数更新各网络参数，直至符合训练目标，并保存各网络模型；S6、无人机进行轨迹跟踪任务时，设定目标跟踪位置，将无人机当前状态输入到训练好的第一控制网络模型，然后执行该网络模型的输出控制量，更新无人机状态，如此往复，完成目标跟踪任务。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南京太司德智能科技有限公司，其通讯地址为：211106 江苏省南京市江宁区秣陵街道庄排路109号1幢01(江宁开发区)；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。