买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京创奇视界科技有限公司;北京航空航天大学

摘要：本发明公开了一种面向复杂装备体系对抗的智能博弈训练与仿真装置，采用微服务架构设计的仿真基础环境和智能训练框架，仿真基础环境用于实现复杂装备体系对抗的仿真，智能训练框架通过与仿真基础环境数据交互，以实现复杂装备体系对抗的智能博弈训练，解决智能博弈训练与仿真装置的架构设计问题，有效利用算力资源，支撑复杂的战役级作战任务仿真；解决DRL算法的统一接口规范问题，同时支持SADRL和MADRL的训练方法，基于DRL算法组件动态组合快速构建新算法，减少建模人员工作量，实现DRL模型的快速开发和迭代；简化DRL模型与仿真系统的数据交互，解决DRL模型的部署及与仿真系统间的集成问题，形成高效的CGF智能行为建模整体流程。

主权项：1.一种面向复杂装备体系对抗的智能博弈训练与仿真装置的运行方法，其特征在于，所述智能博弈训练与仿真装置包括：采用微服务架构设计的仿真基础环境、智能对抗学习训练接口和智能训练框架，所述仿真基础环境用于实现所述复杂装备体系对抗的仿真，所述智能训练框架通过与所述仿真基础环境数据交互，以实现所述复杂装备体系对抗的智能博弈训练；所述智能训练框架包括：模型推理、经验存储和智能优化，以及所述仿真基础环境包括：仿真引擎和CGF智能行为模型；所述微服务架构包括：平台层、资源层、网关层、工具层和服务层，平台层用于提供系统维护管理、容器管理与编排的底层支撑；资源层用于对各类数据资源进行抽象，提供资源的持久化存储、基本管理操作；数据资源分为仿真资源与智能资源两类，仿真资源包括兵力仿真模型、作战想定文件、试验设计样本、仿真数据记录和效能评估工程，智能资源包括智能训练任务和DRL模型参数；资源层各数据资源存储在数据库中，以微服务的形式存在，支持对各项资源进行基本的创建、读取、更新和删除；智能代理模型与兵力仿真模型组装构成智能兵力模型，收集兵力仿真模型的态势信息，调用智能推理服务的接口获得行为决策并执行；网关层为平台统一入口，进行API请求的路由，能够进行身份验证、资源缓存；工具层用于提供人机交互界面；所述平台层采用云操作系统，且具体用于实现下述至少一项功能：虚拟化、容器服务、服务发现、储存编排、自动资源调度、集群管理与监控、日志采集存储和服务定义服务部署；所述资源层具体用于实现下述至少一项功能：仿真模型管理、数据管理、想定管理、文档管理、数据类型管理、地图服务、态势相关资源管理和智能资源管理；所述网关层具体用于实现下述至少一项功能：身份验证、负载均衡、缓存和监控；所述工具层具体包括下述至少一项：仿真控制工具、想定编辑工具、智能训练工具、二维三维态势工具、模型管理工具、试验设计工具、效能评估工具和数据记录与回放工具；所述服务层包括有用于所述模型推理的智能推理服务、用于所述经验存储的智能存储服务、用于网络优化的智能优化服务和用于所述仿真引擎的仿真引擎服务；所述服务层能够集中部署在单台计算机上或分布部署在多台计算机上，所述服务层还包括：用于所述仿真基础环境的想定生成服务、试验设计服务、模型管理服务、效能评估服务、仿真控制服务和仿真数据服务；所述仿真引擎服务包括下述至少一项：主题管理、模型驱动想定分析、仿真控制、时间管理和数据交互；其中，所述智能推理服务、智能存储服务和所述智能优化服务均采用统一的对外接口，且分别内置多种DRL算法组件，所述仿真引擎采用多粒度模型统一接口；所述智能对抗学习训练接口被配置为接收和发送消息中间件，以实现所述智能训练框架与所述仿真基础环境的数据交互；其中，所述消息中间件包括：仿真参数、系统状态、态势信息和行为决策；所述智能对抗学习训练接口包括：参数配置接口，用于接收和发送所述仿真参数；状态监控接口，用于接收和发送所述系统状态；态势获取接口，用于接收和发送所述态势信息；行为执行接口，用于接收和发送所述行为决策；包括以下步骤：第一步：开发兵力仿真模型、智能代理模型，智能代理模型实现获取所需态势数据及执行决策结果的逻辑，与兵力仿真模型组合形成智能兵力模型，上传到模型资源库；第二步：开发仿真想定，确定作战区域、部署兵力实体、设定作战任务流程、配置模型交互关系，生成仿真想定文件；第三步：基于仿真想定文件，选取试验因子、试验设计方法，生成试验设计样本空间文件；第四步：在模型训练模式下，创建智能训练任务，配置需与仿真系统交互的态势数据、决策数据；开发上传自定义DRL算法，或直接使用内置DRL算法，配置DRL算法参数、仿真参数、训练控制参数；进行智能训练流程控制，迭代至模型收敛；第五步：部署训练完成的DRL模型，切换到独立运行模式；第六步：基于部署的DRL模型，进行仿真推演流程控制，记录仿真数据，实时观察仿真态势变化；第七步：选择仿真数据，进行仿真回放流程控制；第八步：对作战体系武器效能进行评估，判断是否达到仿真目的，迭代至满足需求。

全文数据：

权利要求：

百度查询： 北京创奇视界科技有限公司 北京航空航天大学 一种面向复杂装备体系对抗的智能博弈训练与仿真装置