买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜四川大学;南方电网能源发展研究院有限责任公司申请的专利一种城市配电网重构运行两阶段强化学习方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117748515B 。

龙图腾网通过国家知识产权局官网在2024-09-17发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202311811778.6，技术领域涉及：H02J3/06；该发明授权一种城市配电网重构运行两阶段强化学习方法及系统是由高红均;雷成;姜思远;梁宇;聂金峰;潘旭东;王仁俊;刘友波;刘俊勇设计研发完成，并于2023-12-27向国家知识产权局提交的专利申请。

本一种城市配电网重构运行两阶段强化学习方法及系统在说明书摘要公布了：本发明涉及一种城市配电网重构运行两阶段强化学习方法及系统，包括如下步骤：构建城市配电网动态重构运行数学模型；提出开关贡献度的概念以及开关贡献度量化方法，根据光伏消纳和供电能力对贡献度进行量化，再由贡献度值对开关进行筛选，从而实现开关动作空间的大幅度降维；提出一种基于动作权重的WeightedQMIX多智能体深度强化学习算法，可深化智能体对开关贡献度的感知，在此基础上提出一种两阶段强化学习框架，将筛选后所得开关根据贡献度的差异分为两组，随之强化学习训练过程分为两阶段，以避免因权重分配失衡而导致智能体学习困难的问题；充分训练本发明所提多智能体深度强化学习模型，获得城市配电网动态重构运行最优策略。

本发明授权一种城市配电网重构运行两阶段强化学习方法及系统在权利要求书中公布了：1.一种城市配电网重构运行两阶段强化学习方法，其特征在于，包括以下步骤：步骤一，构建城市配电网动态重构运行数学模型；其函数为： ；式中：为配电网重构优化的周期内小时数；为时刻的弃光量；为时刻的失负荷量；为时刻配电网的网络损耗量；为时刻的开关操作数量；、、和分别为弃光成本系数、失负荷成本系数、网损损耗成本系数和开关操作成本系数；其中，所述弃光量、所述失负荷量、所述网络损耗量以及所述开关操作数量的具体计算方法如下：所述弃光量的计算公式为： ；式中：表示光伏接入节点的集合；表示时刻节点光伏的输出功率；表示在时刻光伏实际接入电网的功率；所述失负荷量的计算公式为： ；式中：表示失负荷节点的集合；表示时刻节点负荷预测功率；表示时刻实际注入节点的功率；所述网络损耗量的计算公式为： ；式中：为配电网所有支路的集合；为时刻支路电流的有效值；为支路的电阻值；所述开关操作数量的计算公式为： ；式中：为配电网所有开关支路的集合；、分别表示时刻与时刻配电网重构对应的支路上开关的状态，值为0表示支路开关断开，值为1表示支路开关闭合；步骤二，根据光伏消纳和供电能力对开关贡献度进行量化，再由贡献度值对开关进行筛选，在重构优化时忽略被筛选掉的贡献度低的开关，从而实现开关动作空间的大幅度降维；步骤三，构建WeightedQMIX多智能体强化学习模型，深化智能体对开关贡献度的感知，并提出两阶段强化学习框架，将筛选后所得开关根据贡献度的差异分为两组，并将强化学习训练过程分为两阶段；所述WeightedQMIX多智能体强化学习模型计算方法为：引入权重因子来调整不同智能体对集合Q值函数的贡献；对于算子，为其增加权重函数得到： ；其中，参数，和的更新方法如下所示：（1）的损失函数为： ； ；（2）的损失函数为： ；（3）的表达式为： ； ；通过添加加权函数的方式，对联合动作空间中的每个开关的动作进行加权，以突出不同开关贡献度不同的特性；还包括多智能体交互模型，所述多智能体交互模型包括观测空间、状态空间、动作空间、奖励函数以及状态转移概率，所述观测空间表示每一个智能体能够从环境中观测到的状态值，时刻智能体的观测空间定义为： ；式中：，，，和分别表示智能体控制开关所属变电站上时刻节点的功率和电压，支路的电流和所有开关的通断情况以及时刻；所述状态空间表示所有智能体观测空间的并集，表示如下： ；其中，设定配电网动态重构问题为完全可观测问题，即；所述动作空间表示每个智能体在某时刻获取观测值后做出的动作，时刻智能体的动作空间定义为： ；式中：表示时刻智能体所控分段开关的状态值；所述奖励函数表示智能体与环境互动后得到的一组奖励值，对于时刻智能体，所述奖励函数定义为： ；式中：、和分别表示步骤二所提的两类指标、网络损耗指标和开关动作成本指标，表示越限惩罚项； ； ； ； ；所述状态转移概率描述了多智能体的动作对环境影响，表示智能体在状态下采取动作转移到状态的概率，在当前策略下的状态转移概率为： ；步骤四，采用集中训练、分散执行的方法训练所述WeightedQMIX多智能体强化学习模型，获得城市配电网动态重构运行最优策略。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人四川大学;南方电网能源发展研究院有限责任公司，其通讯地址为：610044 四川省成都市一环路南一段24号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。