买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明涉及网络路由技术领域，具体公开了一种分布式电源聚合控制的低时延动态路由方法，所述方法包括在网络路由中构建流量预测模型；所述流量预测模型用于搭建路由环境；定义并初始化有值函数网络和策略神经网络，拷贝有值函数网络和策略神经网络，创建目标有值函数网络和目标策略神经网络；步骤引入随机噪声，并根据基于流量预测模型确定初始状态；由策略神经网络对随机噪声和初始状态进行处理，构建经验池；在经验池中随机采样，训练有值函数网络。本发明将网络流量预测模型和基于深度学习的路由决策模型组合，并通过端到端的训练方式，最终实现了90.58％的路径选择准确率，并且相比于传统的滑动平均预测方法，能够提升14.92％的网络时延节省。

主权项：1.一种分布式电源聚合控制的低时延动态路由方法，其特征在于，所述方法包括：步骤S100：在网络路由中构建流量预测模型；所述流量预测模型用于搭建路由环境；步骤S200：定义并初始化有值函数网络和策略神经网络，拷贝有值函数网络和策略神经网络，创建目标有值函数网络和目标策略神经网络；为有值函数网络的参数，为策略神经网络的参数，为目标有值函数网络的参数，为策略神经网络的参数；步骤S300：引入随机噪声Z，并根据基于流量预测模型确定初始状态；步骤S400：由策略神经网络对随机噪声Z和初始状态进行处理，构建经验池K；步骤S500：在经验池K中随机采样，训练有值函数网络；步骤S600：返回步骤S300，直至循环M次结束；M为随机生成的回合数；在网络路由中构建流量预测模型时，以时间序列形式的网络流量矩阵作为输入，网络流量矩阵包含覆盖网络路由拓扑中每个节点的时延矩阵和带宽矩阵，输出为拓扑中每条链路的流量信息；对于一个共有P个覆盖网络节点的拓扑，所述时延矩阵和所述带宽矩阵都具有相同的形状p+2*p+2，包含目标服务器和目标用户；所述由策略神经网络对随机噪声Z和初始状态进行处理，构建经验池K的步骤包括：根据初始状态和噪声Z选择动作+Z，执行动作并观察奖励和新状态，，T为最大查找步数；所述奖励和新状态由流量预测模型反馈得到；创建空的经验池K，统计数据，插入所述经验池K；所述在经验池K中随机采样，训练有值函数网络的步骤包括：从经验池K中随机采样W个样本；计算有值函数网络和目标有值函数网络的均方误差，根据均方误差更新有值函数网络，表达式为： ；其中，L为损失函数；W为求和项的总数；=+，表示目标有值函数网络下一时刻的状态与动作的P值；表示在线网络对当前状态下的选取动作的评估生成的P值；为衰减系数，；目标有值函数网络的更新过程为： 式中为更新系数，取值0.001。

全文数据：

权利要求：

百度查询： 无锡市广盈电力设计有限公司 无锡广盈集团有限公司 国网江苏省电力有限公司无锡供电分公司 一种分布式电源聚合控制的低时延动态路由方法