买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：国网江西省电力有限公司电力科学研究院;国家电网有限公司

摘要：本发明属于综合能源系统控制技术领域，公开了一种行为克隆强化学习的零碳园区调度方法及系统，该方法在园区综合能源系统采用含电解槽和碳捕集的掺氢燃气机组协同运行单元，并考虑蓄电池、电动汽车有序充放电策略、冷热电综合需求响应措施，同时考虑高比例新能源发电，从而构建考虑多类型柔性资源的零碳园区综合能源系统调度模型；采用行为克隆TD3强化学习算法对零碳园区综合能源系统调度模型进行离线训练和在线优化。本发明可提高零碳园区综合能源系统的能源转化率和低碳性；提高训练的稳定性；实现零碳园区综合能源系统的在线实时决策。

主权项：1.一种行为克隆强化学习的零碳园区调度方法，其特征在于，在园区综合能源系统采用含电解槽和碳捕集的掺氢燃气机组协同运行单元，并考虑蓄电池、电动汽车有序充放电策略、冷热电综合需求响应措施，同时考虑高比例新能源发电，从而构建考虑多类型柔性资源的零碳园区综合能源系统调度模型；采用行为克隆TD3强化学习算法对零碳园区综合能源系统调度模型进行离线训练和在线优化，所述行为克隆TD3强化学习算法是在TD3算法的策略更新基础上，加入一个加权行为克隆损失项： ；其中，为策略，表示期望，为经验池，为在状态量下的智能体的策略，为超参数，、分别为时段状态量和动作量，为Q函数神经网络在状态动作对下的Q值；所述含电解槽和碳捕集的掺氢燃气机组协同运行单元的能耗和出力数学模型如下： ；式中：、分别为掺氢燃气轮机、掺氢燃气锅炉时段总能耗；、分别为掺氢燃气轮机、掺氢燃气锅炉时段消耗的天然气；、分别为掺氢燃气轮机、掺氢燃气锅炉时段消耗的氢气；为碳捕集时段总能耗；、分别为碳捕集时段的运行能耗和固定能耗；、分别为掺氢燃气轮机时段的电出力和热出力；为掺氢燃气锅炉时段的热出力；为电解槽时段的电能耗；为电解槽时段提供的氢能；为风电和光伏时段提供给电解槽的电功率；为电解槽的制氢效率；、分别为掺氢燃气轮机的电效率与热效率；为掺氢燃气锅炉的热效率；含电解槽和碳捕集的掺氢燃气机组协同运行单元的出力策略数学模型如下： ；式中：为风电和光伏时段提供的碳捕集能耗；为掺氢燃气轮机时段提供的碳捕集能耗；为碳捕集时段处理的CO2总量；为碳捕集处理CO2单位能耗；为时段风电上网功率；为时段风光总出力；为时段风电出力；为时段光伏出力；为时段掺氢燃气轮机上网功率；碳捕集捕获CO2的量的数学模型如下： ；式中：、分别为掺氢燃气轮机、掺氢燃气锅炉时段的碳排放；为碳捕集的碳效率；为碳捕集时段的烟气分流比；、为分别掺氢燃气轮机、掺氢燃气锅炉的碳排放系数；含电解槽和碳捕集的掺氢燃气机组协同运行单元掺氢环节的数学模型如下： ；式中：、分别为时段掺氢前后天然气消耗量；为时段掺氢消耗的氢功率；为时段掺氢比例；园区中的冷负荷供应主要靠以消耗热能供冷的吸收式制冷和消耗电能的电制冷供给；吸收式制冷供冷的数学模型如下： ；式中，和分别为吸收式制冷时段的冷出力和消耗的热功率；为吸收式制冷的能源转换效率；电制冷的数学模型如下： ；式中，和分别为电制冷时段的冷出力和消耗的电功率；表示电制冷的能源转化效率；电锅炉的数学模型： ；式中：、分别为电锅炉时段的热出力和电消耗；为电锅炉的产热效率；蓄电池数学模型如下： ；式中：、分别为蓄电池时段和时段的荷电状态；、分别为蓄电池时段储存和释放的电能；、分别为蓄电池充放电效率；、分别为蓄电池时段充放电最大功率；、别为蓄电池时段储电容量上下限；通过阶梯碳交易模型进一步约束园区碳排放量，碳配额的分配对象为掺氢燃气轮机和掺氢燃气锅炉： ；式中：为园区碳排放净额，为时段园区参与碳交易市场的碳量；为时段园区总碳排放；为时段购电量；为购电碳排放系数；为时段园区的碳配额；为时段园区电碳配额；为时段园区产热碳配额；为掺氢燃气轮机的单位供电碳配额；为掺氢燃气轮机供热功率的碳排放权分配权重；采用分碳排量区间计算碳交易成本： ；式中：为时段碳交易成本；为碳交易基价；为碳排放区间长度；为补偿系数；为碳交易价格增长幅度；考虑供能侧、储能侧、用能侧多种柔性资源管控，以调动实现园区的减排潜能，园区冷热电负荷可通过综合需求响应措施使得部分负荷成为可利用的柔性资源；采用蒙特卡洛法模拟出园区内无序充电状态下的充电负荷；基于分时电价引导电动汽车充电负荷充放电，在满足电动汽车充电需求的情况下，电动汽车作为一种柔性资源，在系统电负荷或电价高峰时释放一部分电动汽车储能电池中的能量，并通过EV充电站输入园区综合能源系统中，电动汽车有序充电功率约束与电动汽车电池约束数学模型如下： ；式中：为园区内电动汽车在时段的总充电功率；为园区内电动汽车在时段的总放电功率；为园区内电动汽车充电站在时段的总充放电功率；、分别为园区电动汽车充电站的最大允许充、放电功率；、分别为园区内时段和时段的第辆电动汽车电池荷电状态；、分别为第辆电动汽车电池容量上下限；和为第辆电动汽车电池的充电功率和放电功率；为园区内充电桩数量；、分别为电动汽车的充、放电效率；L和M表示充电汽车数量和放电汽车数量；考虑的综合需求响应为以分时电价引导的价格型需求项响应，以及进行激励补偿的实激励型需求响应，电负荷需求响应的模型如下所示： ；式中：、分别为需求响应前后的调度周期内的总负荷；为总的可转移负荷变化量；、分别为时段可转移负荷变化量和电价变化量，表示总时间；分别表示第1,2，…，m时段的可转移负荷变化量，分别表示需求响应实施前第1,2，…，m时段的负荷量，分别表示第1,2，…，m时段的电价变化量，分别表示需求响应实施前第1,2，…，m时段的电力价格；为电力价格弹性系数矩阵；表示转置；激励型需求响应是IES管理商在系统负荷处于高峰时期，对用户采取补贴激励政策，鼓励用户在此时段对部分负荷削减或者中断；供暖负荷模型如下： ；式中：为时段园区综合能源系统供热负荷；为时段园区综合能源系统热负荷需求；、分别为园区综合能源系统供热惯性系数上下限；为量化人体对于温度感知的情况采用预测热指标来描述，其计算公式为： ；式中：为人体能量代谢率；为服装热阻；为舒适状态下人体皮肤平均温度；为室内温度；冷负荷供冷模型如下： ；式中：为时段供冷负荷；为时段冷负荷需求；、分别为供冷系统的惯性系数上下限；对电负荷进行补偿； ；式中：表示冷、热、电;表示中断负荷量；为最大中断负荷量；对于用户采取阶梯式价格补贴措施： ；式中：为时段的可中断负荷补贴成本；为时段补贴价格；、分别为两种阶梯补贴价格；为负荷划分边界；综合考虑园区的运行经济成本和CO2相关成本，构建如下式的低碳经济目标函数： ； ；式中：为时段综合能源系统总运行成本；、分别为综合能源系统时段运行成本和CO2相关成本；为时段园区内除碳捕集外所有设备总运行成本；为时段弃风光惩罚成本；为时段购电购气成本；为电热冷负荷时段负荷削减补偿成本；为CO2封存成本；为时段碳捕集折旧成本；、分别为时段第n台设备的运行维护成本和出力值，N为园区内设备总数；为弃风弃光惩罚系数；为时段弃风光量；、分别为时段购电、购气价格；为时段购气量；、分别为碳捕集总成本和折旧年限；r为碳捕集贴现率；时段阶梯碳交易成本；、、分别为时段电、热、冷负荷需求响应成本；约束条件包括常规机组约束、储能设备约束、柔性资源约束和功率平衡约束；园区整体功率平衡公式如下： ；式中：本发明采用表示储电充放动作，大于0表示储能，反之为释放电能；为时段电动汽车充放功率；为时段价格型需求响应后电负荷；为时段中断电负荷量；为时段AC装置的热消耗；为时段园区综合能源系统供热负荷；为时段中断热负荷量；为时段中断热负荷量；为时段园区综合能源系统供冷负荷；为时段AC机组冷出力；为时段EC机组冷出力。

全文数据：

权利要求：

百度查询： 国网江西省电力有限公司电力科学研究院 国家电网有限公司 一种行为克隆强化学习的零碳园区调度方法及系统