买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉南京理工大学申请的专利基于深度强化学习的异构巡飞搜救集群协同动作决策方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120450395B 。

龙图腾网通过国家知识产权局官网在2025-09-19发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510951613.1，技术领域涉及：G06Q10/0631；该发明授权基于深度强化学习的异构巡飞搜救集群协同动作决策方法是由高阳;王梓屹;郭健;王璐;李胜;陈庆伟;马国梁;吴益飞设计研发完成，并于2025-07-10向国家知识产权局提交的专利申请。

本基于深度强化学习的异构巡飞搜救集群协同动作决策方法在说明书摘要公布了：本发明公开了一种基于深度强化学习的异构巡飞搜救集群协同动作决策方法，可以有效解决在复杂任务环境中，飞行器在受限通信条件与有限搜索与救援能力的情况下，实现异构巡飞搜救集群分布式自主协同动作决策的能力；提出了一种应用于复杂环境下的用于描述环境状态信息的灵活观测表示方法，并构造了处理此类输入的灵活观测特征编码模块，降低了数据冗余度并提升了特征提取能力；在传统深度强化学习网络中增加了记忆结构，实现了巡飞搜救集群历史搜索结果序列的记忆和辅助决策能力。本发明是对一般环境下同构巡飞搜救集群协同动作决策的有效拓展，并针对复杂环境的搜救任务提供鲁棒性保障，满足异构搜救集群在多类型复杂灾区环境下的动作决策需求。

本发明授权基于深度强化学习的异构巡飞搜救集群协同动作决策方法在权利要求书中公布了：1.一种基于深度强化学习的异构巡飞搜救集群协同动作决策方法，其特征在于，包括以下步骤： 步骤1：将复杂环境下异构巡飞搜救集群协同动作决策问题构建为分布式部分可观测马尔可夫决策过程； 对决策任务建模，并使用元组S,A,T,O,Z,R,N表示巡飞搜救集群与复杂环境的一次交互，其中S表示环境的全局状态集合，A表示巡飞搜救集群在状态S下做出的动作集合，T表示状态转移概率函数，O表示飞行器部分状态观测集合，Z表示观测函数，R表示在状态S下做出动作A获得的奖励集合，N表示飞行器个数；其中，S与O中各飞行器使用了多类型混杂且数量可变的灵活观测表示形式，具体为： 式1 其中，M为信息类别总数，表示灵活观测中第m类对象的信息通道，中包含有动态可变且无顺序要求的个独立状态观测数据，第i条数据内容为，每条数据的维度为； 步骤2：构建深度强化学习网络，包含动作网络和价值网络； 步骤3：构建训练样本； 步骤4：训练深度强化学习网络，得到各飞行器动作网络参数； 使用获得的训练样本，通过MAPPO算法训练各飞行器智能体的动作网络与价值网络；其中，动作网络使用PPO-CLIP方式计算，对于第i个智能体，记和分别为该智能体的动作网络与价值网络的权重参数，则其动作网络的损失函和价值网络的损失函数设置为： 式2 式3 其中和分别为全部智能体训练过程中的新、旧动作策略；为在旧动作策略下全局状体的状态分布，为在全局状体下旧动作策略输出的动作分布，表示在旧策略下对与环境互动过程中各时刻的全局状态与动作求损失的期望；为相同观测与动作下新旧策略的重要性比例，而和分别为智能体i在t时刻的部分状态观测和执行的动作，和分别为智能体新、旧动作网络在观测到后做出动作的概率；为优势函数，使用广义优势估计方式计算；min为最小值函数，clip为截断函数，为对应的截断因子；为随策略训练的智能体i价值网络输出的状态价值，为t时刻由环境产生的状态-动作奖励，为折扣因子； 步骤5：初始化异构巡飞搜救集群任务环境； 步骤6：基于当前复杂环境下的通信状态，更新集群通信拓扑结构； 步骤7：基于通信拓扑结构，获得各飞行器的部分状态观测输入； 步骤8：使用经过训练的动作网络获得各飞行器的动作决策输出； 步骤9：执行决策输出结果； 步骤10：检查任务完成状态，若已经搜索发现全部受困人员并完成急救物资投放，则结束，否则，转到步骤6。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南京理工大学，其通讯地址为：210094 江苏省南京市玄武区孝陵卫200号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。