买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西安电子科技大学

摘要：本发明公开了一种基于图神经网络和强化学习的分段路由网络增量部署方法，主要解决现有技术网络的最大链路利用率过高，网络链路负载不均衡的问题。其实现方案为：构造IPv6网络拓扑，设置网络拓扑的链路特征；通过收集历史流量需求矩阵计算代表流量矩阵；基于IPv6网络拓扑、链路特征及代表流量矩阵，利用图神经网络和多智能体强化学习算法，迭代更新网络链路权重矩阵和分段路由节点集合；利用更新后得到最终的网络链路权重矩阵和分段路由节点集合，对IPv6网络拓扑进行部署，得到增量部署SR节点的SRv6网络。本发明降低了最大链路利用率，均衡了链路负载，提高了网络部署的鲁棒性和泛化性，可用于互联网协议第6版的转发。

主权项：1.一种基于图神经网络和强化学习的分段路由网络增量部署方法，其特征在于，包括如下步骤：1构建互联网协议第六版IPv6网络拓扑G为单向连通图G＝V,E，并设置该网络拓扑的链路特征，其中，V代表节点集，E代表单向链路集；2获取n个历史流量需求矩阵，利用欧氏距离算法计算代表流量矩阵H；3初始化全局策略πθ以及状态值函数其中θ为策略参数，为状态参数,设置M个剧集,初始剧集m＝0；4根据IPv6网络拓扑G、代表流量矩阵H、IPv6网络拓扑G的链路特征、全局策略πθ以及状态值函数利用图神经网络GNN和多智能体强化学习MARL算法，对网络链路权重矩阵mt和分段路由节点集合SRS进行迭代更新：4a初始化经验回放池，设置情节长度为T，初始迭代次数t＝0；4b根据当前IPv6网络拓扑G的链路特征以及代表流量矩阵H，设置初始链路隐藏状态并利用消息传递图神经网络MPNN对初始链路隐藏状态进行消息传递，获得每个智能体的最终链路隐藏状态其中e代表链路，k代表消息传递次数；实现如下：4b1设初始消息传递次数k＝0，消息传递总次数为Q；4b2根据智能体的邻域智能体的隐藏状态组合该智能体在消息传递次数为k时的链路隐藏状态和邻域中所有链路的当前隐藏状态得到新的聚合信息 其中，为在消息传递次数为k时的链路e的隐藏状态，为在消息传递次数为k时智能体邻域链路i的当前隐藏状态，m为消息函数，i为智能体的邻域链路，Be为链路e邻域的集合，a为聚合函数；4b3根据每个智能体新的聚合信息以及该智能体在消息传递次数为k时的链路隐藏状态每个智能体利用更新函数u得到该智能体的新的隐藏状态 其中，为在消息传递次数为k时链路e的链路隐藏状态，u为更新函数；4b4令k＝k+1，判断当前是否完成Q次消息传递次数：若是，则利用每个智能体所负责部分的局部读出函数获取每个智能体可行的动作，否则，返回4b2；4c根据每个智能体的最终隐藏状态利用每个智能体所负责部分的局部读出函数获取每个智能体可行的动作；4d将每个智能体的动作在通信层进行传播，并在通信层为IPv6网络拓扑G的状态构造当前的全局策略πθ，确定该网络当前的链路权重矩阵mt；4e根据当前的网络链路权重矩阵mt和代表流量矩阵H，确定IPv6网络拓扑G当前的SR节点集合SRS、流量的所有可用路径AP、流量分割比FR以及最大链路利用率Umax；4f根据当前最大链路利用率Umax及全局策略πθ，计算智能体的奖励值rt、累计奖励Gt、全局策略πθ的状态价值及转移核Pt，并将其存储至经验回放池；4g令t＝t+1，判断当前迭代次数是否达到设置的情节长度T：若是，则执行4h，否则，返回4b；4h根据经验回放池中的参数，在T组训练集上使用小批量随机梯度下降方法，最大化全局PPO目标值更新全局策略πθ以及状态值函数的策略参数θ和状态参数4i令m＝m+1，判断当前是否完成全部剧集M:若是，则输出最终的网络链路权重矩阵mt及分段路由节点集合SRS，执行5，否则，返回4a；5根据最终的网络链路权重矩阵mt、分段路由节点集合SRS，对IPv6网络拓扑G进行部署，得到增量部署SR节点的SRv6网络。

全文数据：

权利要求：

百度查询： 西安电子科技大学 基于图神经网络和强化学习的分段路由网络增量部署方法