买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：河海大学

摘要：本发明公布了一种基于多智能体深度强化学习鲁棒奖励函数的配电网‑微电网协同最优策略方法。微电网中，通过多智能体深度强化学习挖掘微电网的非合作博弈策略，在考虑未来收益的基础上精准给出最小化配电网运行成本且最大化微电网综合收益的策略，实现了配电网‑微电网协同最优策略。采用不确定状态的马尔可夫过程，构建了最恶劣情况下的鲁棒奖励函数；通过总变差距离将策略差值转化为奖励差值。计及配电网和微电网的约束条件和目标函数，构建了基于多智能体深度强化学习鲁棒奖励函数的配电网‑微电网协同最优策略模型。

主权项：1.一种基于多智能体深度强化学习鲁棒奖励函数的配电网-微电网协同最优策略方法，其特征在于，该方法包括以下步骤：步骤1、获取配电网网络参数和运行参数；微电网网络参数和运行参数；进行节点边际电价和微电网交互功率初始化；多智能体强化学习策略网络参数和价值网络参数初始化；时刻初始化；步骤2、获取时刻t配电网和微电网节点主动输入有功功率和无功功率数据；时刻t微电网光伏阵列和风电机组发电数据；步骤3、基于时刻t微电网交互功率，结合步骤1配电网网络参数和运行参数和步骤2配电网节点主动输入有功功率和无功功率数据，以潮流约束和其他约束为约束条件，以配电网运行成本最小为目标函数；求解得到时刻t配电网运行成本最小值，并通过计算以节点为末端节点的配电网线路传输有功功率对于配电网运行成本的偏导数计算时刻t节点边际电价；步骤4、基于时刻t节点边际电价，结合步骤2时刻t微电网节点主动输入有功功率和无功功率数据、光伏阵列和风电机组发电数据，输入多智能体深度强化学习的策略网络得到时刻t策略，策略为储能系统逆变器功率比例的采样概率；基于时刻t节点边际电价，结合步骤2时刻t微电网节点主动输入有功功率和无功功率数据、光伏阵列和风电机组发电数据，以及策略采样得到的时刻t储能系统逆变器功率比例，结合步骤1微电网网络参数和运行参数，以潮流约束、储能约束、逆变器约束为约束条件，以微电网综合收益最大为目标函数；求解得到时刻t微电网综合收益最大值和时刻t微电网交互功率；步骤5、重复步骤3和步骤4以更新时刻t节点边际电价和微电网交互功率，直到更新前后每个节点的节点边际电价差值小于0.01元kWh时停止，并输出时刻t节点边际电价、时刻t微电网综合收益最大值和时刻t微电网交互功率、策略采样得到的时刻t储能系统逆变器功率比例；步骤6、基于步骤5输出时刻t微电网综合收益最大值，赋值给多智能体深度强化学习作为实际非鲁棒奖励，基于多智能体深度强化学习实际非鲁棒奖励和鲁棒奖励函数，得到多智能体深度强化学习实际鲁棒奖励；基于步骤2时刻t微电网节点主动输入有功功率和无功功率数据、光伏阵列和风电机组发电数据，步骤5输出时刻t节点边际电价、时刻t微电网综合收益最大值和时刻t微电网交互功率，策略采样得到的时刻t储能系统逆变器功率比例，输入多智能体深度强化学习价值网络得到网络鲁棒奖励；计算价值网络参数对于实际鲁棒奖励和网络鲁棒奖励的差值平方的价值偏导数，基于价值偏导数进行梯度下降更新价值网络参数；计算策略网络参数对于网络鲁棒奖励的策略偏导数，基于策略偏导数进行梯度上升更新策略网络参数；步骤7、重复步骤2到步骤6，直到配电网和微电网负荷数据、微电网光伏阵列和风电机组发电数据的计算结束时停止。

全文数据：

权利要求：

百度查询： 河海大学 一种基于多智能体深度强化学习鲁棒奖励函数的配电网-微电网协同最优策略方法