买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华北电力大学

摘要：本发明公开了一种基于鲁棒强化学习的电动汽车充电调度方法及系统，将电动汽车充电调度决策构造为马尔科夫决策模型，并且设计了一种鲁棒强化学习算法，通过提高传统强化学习算法的鲁棒性，增强电动汽车充电调度系统受网络攻击的防御水平，本方案中的鲁棒充电调度算法，面对潜在的网络攻击时，仍具备较好的调度能力，本方案提供的鲁棒强化学习算法既确保了模型在未受攻击的情况下有良好的策略表现，并且在受对抗攻击的场景中同样具备良好的策略表现，使得电动汽车在面对网络攻击进行充电调度的情况下仍能取得最优决策。

主权项：1.一种基于鲁棒强化学习的电动汽车充电调度方法，其特征在于：包括以下步骤：将电动汽车充电调度决策构造为马尔科夫决策模型；获取强化学习算法，在所述强化学习算法的网络架构上建立策略网络、价值网络和最强攻击评价网络，得到鲁棒强化学习算法，其中，建立所述价值网络包括：引入优势函数对当前策略进行评估，并更新价值网络参数： 设定价值网络更新公式： 其中，表示智能体状态的状态价值，表示折扣因子，反映未来收益的重要程度；建立所述最强攻击评价网络包括：将当前策略面对最强攻击的动作价值定义为： 设定最强攻击评价网络更新公式： 其中，表示动作受扰动范围，表示智能体状态由被攻击干扰后的状态；建立所述策略网络包括：获取所述强化学习算法的策略梯度损失函数： 设定策略网络鲁棒更新公式： 通过平衡权重将策略梯度损失函数和策略网络鲁棒更新公式进行结合，得到策略网络总体损失函数： 其中，表示策略在状态下执行动作的概率，表示平衡权重；通过所述鲁棒强化学习算法对构造的马尔科夫决策模型进行求解，输出最优调度策略，使得电动汽车充电调度决策在所述最优调度策略下进行最佳调度，包括：步骤1：定义求解输入和求解输出，所述求解输入包括充电电价、每个充电点的电动汽车电池状态以及剩余充电时间，所述求解输出包括每个充电点的充放电策略，对应更新迭代完成后的策略网络参数；步骤2：初始化迭代次数、平衡权重、策略网络、价值网络、最强攻击评价网络以及所述策略网络、价值网络和最强攻击评价网络各自对应的网络参数；步骤3：获取当前的智能体状态作为策略网络的输入；步骤4：策略网络输出每个充电点的充放电动作表示为智能体动作，执行相应动作，得到智能体奖励；步骤5：进入下一个时刻，智能体状态由转移到，收集到一组轨迹序列；步骤6：更新价值网络的参数： 步骤7：计算在状态时受到的最强攻击： 步骤8：更新最强攻击评价网络参数： 步骤9：更新策略网络参数： 步骤10：重复执行步骤3-9，直到达到迭代次数，返回迭代更新后的策略网络参数。

全文数据：

权利要求：

百度查询： 华北电力大学 一种基于鲁棒强化学习的电动汽车充电调度方法及系统