买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉南京启征信息技术有限公司申请的专利一种基于多智能体强化学习的变电站运维决策方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN118644225B 。

龙图腾网通过国家知识产权局官网在2025-05-27发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202410679783.4，技术领域涉及：G06Q10/20；该发明授权一种基于多智能体强化学习的变电站运维决策方法是由孙凯;刘洋;马正亮设计研发完成，并于2024-05-29向国家知识产权局提交的专利申请。

本一种基于多智能体强化学习的变电站运维决策方法在说明书摘要公布了：本发明提供了一种基于多智能体强化学习的变电站系统运维决策方法，该方法属于智能决策技术领域，包括含有半马尔科夫决策过程的变电站系统模型建立，并据此建立并行PER双层深度Q网络算法，进一步利用Newman‑fast社区检测算法将系统进行分割，最后利用基于多智能体的分治方法实现对变电站系统的运维决策。本发明提供的方法优化了变电站的运维策略，提高了系统的稳定性和效率并减少了成本，有效地提高了基于变电站系统的智能决策水平。

本发明授权一种基于多智能体强化学习的变电站运维决策方法在权利要求书中公布了：1.一种基于多智能体强化学习的变电站系统运维决策方法，其特征在于，包括：S1：利用部署在变电站系统设备或装置上的传感器或探测器，获取变电站系统状态信息；S2：根据所述变电站系统状态信息，结合系统级故障及运维模型，构建变电站系统故障及运维模型；S3：根据所述变电站系统故障及运维模型，结合多智能体强化学习，采用分治方法对并行PER双层深度Q网络进行训练，得到针对所述变电站系统故障及运维模型的决策集；所述变电站系统故障及运维模型引入了半马尔可夫决策过程，用以描述所述变电站系统设备或装置的故障或退化过程；所述分治方法是指对所述并行PER双层深度Q网络训练时，利用Newman-fast算法对所述变电站系统故障及运维模型进行社区检测划分，用以将所述变电站系统故障及运维模型划分为m个子系统，并通过所述多智能体强化学习，为每个所述子系统配置智能体j，以此分别产生对每个所述子系统的最优决策；所述步骤S2还包括以下步骤：S2.1：对所述变电站系统模型进行搭建；S2.2：对系统级顺序维护进行优化；S2.3：引入所述PER双层深度Q网络；S2.4：对总成本函数进行分解；对所述步骤S2.1中对变电站系统模型搭建的过程还包括以下步骤：S2.1.1：引入有限时间半马尔科夫决策过程，用以描述所述变电站系统设备的故障、老化或失效；一旦所有所述变电站系统状态信息通过被所述传感器或探测器监测而确定后，所述变电站系统的QoS损失由最大流量算法计算得出，为初始系统状态下当前最大流量容量与最大流量容量的差值；S2.1.2：基于所述系统状态信息，所述智能体在t时刻为组件从“无动作”和“恢复至全新状态”两个运维操作中选择一个实行；由所述系统状态确定系统级操作，以此定义系统级状态转移概率；S2.1.3：引入加权求和公式方法将描述所述变电站系统运维成本的多目标函数转化为单目标函数；所述步骤S3还包括以下步骤：S3.1：引入所述Newman-fast算法将所述变电站系统分解为m个所述子系统，并给每个子系统分配一个所述智能体来学习所述子系统的运维策略；S3.2：引入预定义函数，通过多智能体信用分配将所述总成本函数分解成各所述子系统的分散成本函数，并根据所述预定义函数将所述总成本分配给所述子系统；S3.3：引入并行处理方法，将处理单元分为五组，每组中的超参值取值不同并且各自使用-贪婪算法同时探索最优分散策略；所述Newman-fast算法将系统拓扑图中的每个顶点设为一个独立的簇，每次迭代选择产生最大模块度的两个簇进行合并，直至整个网络合并成一个簇；整个合并过程得到自底向上的树图，从所述树图的所有层次划分中选择所述模块度最大的划分作为所述社区检测的结果；所述PER双层深度Q网络为一种无模型强化学习算法，引入了两个参数化的深度Q网络来近似Q值，两个所述参数化的深度Q网络分别为在线网络和目标网络；所述并行处理超参调优时，在训练一周期后，通过预期生命周期成本来判断基于当前所述超参值的决策的优越性；在下一周期开始前，所有所述处理单元的在线网络参数和目标网络参数都会与上一周期中最优性能表现的参数同步，通过同步，由于接近所述最优分散策略而未被探索到或很少被探索到的策略会被传播到其他所述处理单元。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南京启征信息技术有限公司，其通讯地址为：210012 江苏省南京市雨花台区凤展路30号3幢1906室；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。