买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国科学院自动化研究所

摘要：本发明提供一种离散化多智能体的深度强化学习方法及系统。所述方法包括：获取多智能体系统中的所有智能体的动作及所有智能体的观测；迭代执行至少一次第一训练过程，直至达到预设训练次数或多智能体系统对应的深度强化学习网络的损失函数收敛。本发明使用一种离散化处理的网络结构来表征多智能体系统的观测以及其他智能体的动作，该离散化网络以所有智能体的观测和其他智能体的动作作为输入，用于离散化智能体的智能体观测集合以及其他智能体的动作，能够减轻环境中噪声对智能体决策的影响，促进智能体的协作，提升多智能体系统的协作效率。

主权项：1.一种离散化多智能体的深度强化学习方法，其特征在于，包括：获取多智能体系统中的所有智能体的动作及所有智能体的观测；迭代执行至少一次第一训练过程，直至达到预设训练次数或多智能体系统对应的深度强化学习网络的损失函数收敛；其中，所述第一训练过程包括：将所述所有智能体的观测输入到置换不变性网络，得到所有智能体的观测集合；迭代执行至少一次第二训练过程，直至获取到所有智能体的目标动作；执行所述所有智能体的目标动作，更新所述观测和环境奖励，所述环境奖励用于更新所述损失函数；对所述深度强化学习网络的参数进行更新；所述第二训练过程包括：基于离散化网络，对第一智能体的观测集合及第二智能体的动作进行离散化处理，得到第一智能体的目标动作，所述第一智能体为所述所有智能体中的任一智能体，所述第二智能体为所述所有智能体中除所述第一智能体之外的其他智能体；所述基于离散化网络，对第一智能体的观测集合及第二智能体的动作进行离散化处理，得到第一智能体的目标动作，包括：基于所述离散化网络，对第一智能体的观测集合及第二智能体的动作进行离散化处理，得到第一智能体的离散化观测集合及第二智能体的离散化动作；根据所述第一智能体的离散化观测集合及所述第二智能体的离散化动作，得到第一智能体的目标动作；多智能体运行环境为策略游戏多种单位对战环境；对于第i个智能体，智能体面向环境的观测oi,t包含的信息有：环境中所有单位的归一化生命、护盾、相对坐标的信息，智能体上一时刻动作与智能体的身份标识；面向单位的观测oi→j包含的信息为攻击目标j的归一化生命、护盾、相对坐标的信息；所述多智能体运行环境根据多智能体系统选择的联合动作获取场景中各个单位的下一时刻状态，并为多智能体系统反馈环境奖励；所述环境奖励包括即时奖赏与终局奖赏；即时奖赏为敌我双方造成伤害之差，若我方单位对敌方单位造成伤害，则环境为多智能体系统反馈等于伤害数值的正奖赏；若敌方单位对我方单位造成伤害，则环境为多智能体系统反馈等于伤害数值相反数的负联合奖赏；终局奖赏反映对战胜负，若我方获胜则环境反馈正的联合奖赏，若我方落败则环境反馈负的联合奖赏；终局奖赏的具体数值设置为+10或-10；所述多智能体系统对应的智能体网络用于分布式地计算智能体的观测动作价值，每一个智能体网络控制环境中的一个我方单位，通过输入我方单位的局部观测为我方单位选择合适的动作；智能体的动作空间可按功能划分为面向环境的移动动作子空间与面向单位的攻击动作子空间；对于第i个智能体，智能体的动作空间包括两个动作子空间，分别为面向环境的四个方向的移动动作ai与面向单位针对一具体攻击目标j的攻击动作ai→j。

全文数据：

权利要求：

百度查询： 中国科学院自动化研究所 离散化多智能体的深度强化学习方法及系统