买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：湖南工商大学

摘要：本申请涉及一种基于深度强化学习的社区家庭微网能量优化调控方法，该方法包括：建立区块链社区家庭能量管理系统网络模型，并收集已上链的家庭微网的第一用能；基于区块链社区家庭能量管理系统网络模型，构建马尔可夫决策过程；采用深度强化学习求解马尔可夫决策过程，得到已上链的家庭微网的最优智能体策略；获取待优化调控的家庭微网的第二用能，计算第二用能与所有第一用能之间的相似度，将相似度最高的第一用能对应家庭微网的最优智能体策略迁移至待优化调控的家庭微网，待优化调控的家庭微网使用迁移后的最优智能体策略进行家庭微网能量优化调控。该方法有效降低了对当前数据的依赖，并加快了学习进程。

主权项：1.一种基于深度强化学习的社区家庭微网能量优化调控方法，其特征在于，包括：S1：建立区块链社区家庭能量管理系统网络模型，并收集已上链的家庭微网的第一用能；所述区块链社区家庭能量管理系统网络模型包括智能合约策略处理中心节点集以及控制模块；所述智能合约策略处理中心节点集包括：智能合约家庭策略收集节点、智能合约家庭策略提供节点、智能合约策略迁移节点；所述智能合约家庭策略收集节点用于收集家庭微网的最优智能体策略以及用能；所述智能合约家庭策略获取节点用于提供相似度最高的第一用能对应家庭微网的所述最优智能体策略；所述智能合约策略迁移节点用于将所述相似度最高的第一用能对应家庭微网的所述最优智能体策略迁移至待优化调控的家庭微网；所述控制模块包括：社区家庭能量管理有限集、家庭智能体策略有限集；所述社区家庭能量管理有限集包括：家庭微网中的功率可变负荷的功率、时间可变负荷的功率、刚性负荷的功率、储能系统的荷电状态、电动汽车的电池荷电状态、光伏发电系统的发电功率；所述家庭微网中的功率可变负荷的功率、所述时间可变负荷的功率、所述储能系统的荷电状态、所述电动汽车的电池荷电状态均包括对应的约束；家庭微网中的功率可变负荷的功率的约束表示为： ；其中，表示第n个家庭微网的第j个功率可变负荷在t时刻的功率；表示第n个家庭微网中第j个功率可变负荷的最小功率；表示第n个家庭微网中第j个功率可变负荷的最大功率；时间可变负荷的功率的运行开始时间的约束表示为： ；其中，表示第n个家庭微网中第k个时间可变负荷的功率的运行开始时间；表示第n个家庭微网中第k个时间可变负荷的功率的设定开始时间；表示第n个家庭微网中第k个时间可变负荷的功率的终止时间；表示第n个家庭微网中第k个时间可变负荷完成工作所需的持续运行时长；储能系统的荷电状态的约束表示为： ； ； ；其中，表示第n个家庭微网在t时刻的储能系统的荷电状态；表示储能系统的荷电状态最小值；表示储能系统的荷电状态最大值；表示第n个家庭微网在t时刻的储能系统的功率；表示储能系统最大放电功率；表示储能系统最大充电功率；表示第n个家庭微网在t+1时刻的储能系统的荷电状态；表示储能系统的充电效率；表示储能系统的放电效率；电动汽车的电池荷电状态约束表示为： ； ； ；其中，表示第n个家庭微网中第m台电动汽车在t时刻的电池荷电状态；表示第n个家庭微网中第m台电动汽车的电池荷电状态最小值；表示第n个家庭微网中第m台电动汽车的电池荷电状态最大值；表示第n个家庭微网中第m台电动汽车在t时刻电池的功率；表示第n个家庭微网中第m台电动汽车的电池最大放电功率；表示第n个家庭微网中第m台电动汽车的电池最大充电功率；表示第n个家庭微网中第m台电动汽车在t+1时刻的电池荷电状态；表示电动汽车的充电效率；表示电动汽车的放电效率；所述家庭智能体策略有限集包括家庭微网的控制决策模块，所述家庭微网的控制决策模块包括决策网络、第一价值网络、第二价值网络、第一目标价值网络、第二目标价值网络；所述决策网络、所述第一价值网络、所述第二价值网络、所述第一目标价值网络、所述第二目标价值网络均包括输入层、三层隐藏层以及输出层；S2：基于所述区块链社区家庭能量管理系统网络模型，构建马尔可夫决策过程；采用深度强化学习求解所述马尔可夫决策过程，得到已上链的家庭微网的最优智能体策略；所述基于所述区块链社区家庭能量管理系统网络模型，构建马尔可夫决策过程包括：所述马尔可夫决策过程包括状态空间、动作空间、马尔可夫状态转移、奖励；基于所述社区家庭能量管理有限集构建所述状态空间；所述状态空间表示为： ；其中，表示第n个家庭微网在t时刻的状态空间；表示第n个家庭微网在t时刻的功率可变负荷的功率的有限集；表示第n个家庭微网在t时刻的时间可变负荷的功率的有限集；表示第n个家庭微网在t时刻的刚性负荷的功率的有限集；表示第n个家庭微网在t时刻的储能系统的荷电状态的有限集；表示第n个家庭微网在t时刻的电动汽车的电池荷电状态的有限集；表示第n个家庭微网在t时刻的光伏发电系统的发电功率的有限集；表示t时刻的电价；T表示时刻的集合；N表示家庭微网总数；基于功率可变负荷的功率变化量、时间可变负荷的开关状态、储能系统的功率、电动汽车的电池的功率构建所述动作空间；所述动作空间表示为： ；其中，表示第n个家庭微网在t时刻的动作空间；表示第n个家庭微网在t时刻的功率可变负荷的功率变化量的集合；表示第n个家庭微网的时间可变负荷的开关状态集合；表示第n个家庭微网在t时刻的储能系统的功率集合；表示第n个家庭微网在t时刻的电动汽车的电池的功率集合；所述马尔可夫状态转移包括在家庭微网中将上一时刻的所述状态空间、所述动作空间转移至下一时刻的状态空间；所述马尔可夫状态转移表示为：；表示第n个家庭微网在t+1时刻的状态空间；基于所述状态空间以及所述动作空间，以降低电力成本为优化目标设计奖励函数；所述奖励表示为： ； ； ； ； ； ；其中，表示第n个家庭微网在t时刻的奖励；表示第n个家庭微网的第j个功率可变负荷在t时刻的功率；表示第n个家庭微网的第k个时间可变负荷在t时刻的功率；表示第n个家庭微网的第l个刚性负荷在t时刻的功率；表示第n个家庭微网中第m台电动汽车在t时刻电池的功率；表示功率可变负荷的奖励因子；表示时间可变负荷的奖励因子；表示刚性负荷的奖励因子；J表示第n个家庭微网中功率可变负荷的数量；K表示第n个家庭微网中时间可变负荷的数量；L表示第n个家庭微网中刚性负荷的数量；M表示第n个家庭微网中电动汽车的数量；表示第n个家庭微网的第j个功率可变负荷在t时刻的用电成本；表示第n个家庭微网的第k个时间可变负荷在t时刻的用电成本；表示第n个家庭微网的第l个刚性负荷在t时刻的用电成本；表示第n个家庭微网的储能设备在t时刻的充放电收益成本；表示第n个家庭微网的电动汽车在t时刻的充放电收益成本；S3：获取待优化调控的家庭微网的第二用能，计算所述第二用能与所有所述第一用能之间的相似度，将所述相似度最高的第一用能对应家庭微网的所述最优智能体策略迁移至待优化调控的家庭微网，所述待优化调控的家庭微网使用迁移后的所述最优智能体策略进行家庭微网能量优化调控。

全文数据：

权利要求：

百度查询： 湖南工商大学 一种基于深度强化学习的社区家庭微网能量优化调控方法