买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京邮电大学

摘要：本发明公开了一种基于多控制器SDN的数据中心网络视频流QoS保障方法，具体是：主控制器根据全局网络视图和可达路径矩阵判断待传输视频流的源主机与目的主机是否直连，是则直接转发；否则基于MMN+1排队模型根据视频流的优先级，结合可达路径矩阵Ar将待传输视频流转发至网络可达且负载值最低的子控制器；针对被分配至子控制器的待转发视频流，构建视频流QoS保障多约束条件，得到路径的最小传输总成本；利用RNN改进DDPG深度强化学习算法，通过不断迭代训练当前网络和目标网络，获得待转发视频流最优路径规划。本发明能够有效解决网络拥塞和QoS保障问题，提高多媒体视频流传输的质量和用户体验。

主权项：1.一种基于多控制器SDN的数据中心网络视频流QoS保障方法，其特征在于，包括如下步骤：S1、由主控制器根据各子控制器采集的子网络信息获得全局网络视图，然后生成有向图G及网络可达路径矩阵Ar；S2、主控制器根据有向图G及网络可达路径矩阵Ar判断待传输视频流的源主机与目的主机是否直连，是则直接转发；否则基于MMN+1排队模型根据视频流的优先级，结合可达路径矩阵Ar将待传输视频流转发至网络可达且负载值最低的子控制器；S3、针对被分配至子控制器的待转发视频流，构建视频流QoS保障多约束条件，得到路径的最小传输总成本；S4、利用RNN改进的深度强化学习算法DDPG，通过不断迭代训练当前网络和目标网络，获得待转发视频流最优路径规划，包括以下子步骤：S401、进行DDPG算法映射，构建基于Actor-Critic架构的当前网络和目标网络；进行DDPG算法映射具体是：定义状态空间S：节点信息、链路信息、网络状态；定义动作空间A：定义动作a为视频流l选择节点i和j之间的第p条路径的权重值构成，即 其中K表示节点i和j之间的所有路径数量；定义奖励函数r：将奖励函数r定义为网络各链路最小成本的负相关，则r＝-Costminp＝[-k1Tdp+k2Bp-k3Lop-k4Ep]其中，Tdp、Bp、Lop表示节点i，j之间的链路p的端到端时延、可用带宽、丢包率；k1、k2、k3、k4为链路成本的权重系数，且k1+k2+k3+k4＝1；构建基于Actor-Critic架构的当前网络和目标网络，具体是：Actor当前网络用于更新策略参数α，Critic当前网络用于更新策略参数β，目标网络用于备份当前网络，Ep表示计算待转发视频流经路径p传输的网络能耗；S402、采用经验回放机制在每个时间步将当前状态、智能体执行的动作、奖励、下一个状态信息存储到经验缓冲区中，再从经验缓冲区中随机采样一批经验样本训练当前网络和目标网络；步骤S402包括以下子步骤S402-1至S402-8：S402-1、初始化DDPG神经网络模型：定义深度神经网络结构、学习率φ、折扣因子μ、探索率ε；S402-2、初始化经验池：构建一个经验回放缓冲区，用于存储智能体与环境交互获得的经验，包括状态st、动作at、奖励rt、下一个状态st+1；S402-3、智能体与环境交互：获取当前网络状态信息st，Actor当前网络根据网络状态st生成动作at，即视频流传输路径p的权重值，代表选择路径p进行数据传输，其中，at＝πs|α，π表示策略函数，πs|α代表在给定状态s下，策略网络根据当前参数α选择的动作值函数；S402-4、将Actor当前网络状态st和动作at输入到环境和critic当前网络，获得当前网络Q值、执行动作at所获得的相应的奖励值以及下一个状态st+1，获得奖励rt：rt＝-Costminp＝[-k1Tdp+k2Bp-k3Lop-k4Ep]Qst,at|β＝fβst,at|β其中Tdp、Bp、Lop表示节点i，j之间的链路p的端到端时延、可用带宽、丢包率；k1、k2、k3、k4为链路成本的权重系数；fβ表示当前网络的输出函数，是初始化时由深度神经网络决定的函数；S402-5、将经验数据st,at,rt,st+1存储到经验回放缓冲区中；S402-6、从经验回放缓冲区中随机采样一批经验数据作为样本，在当前状态下critic目标网络根据动作计算出相应的目标Q值，用Q′表示： 其中，γ是一个衰减系数，用于平衡当前奖励和未来奖励的重要性程度；S402-7、通过最小化损失函数更新Critic当前网络参数β，即 通过策略梯度函数更新Actor当前网络参数α，即 其中，表示策略的性能指标；S402-8、返回执行S402-3，直到视频流转发源节点和目的节点之间任意条路径的权重值全部生成，并存入经验回放缓冲区；S403、返回执行步骤S402，直到待转发视频流转发源节点和目的节点之间任意条路径的权重值全部生成，获得最优路径；S5、利用节点最小权重值函数，确定各个路径上经过的节点，然后结合最优路径，生成路由表下发至交换机，完成待转发视频流的转发。

全文数据：

权利要求：

百度查询： 南京邮电大学 一种基于多控制器SDN的数据中心网络视频流QoS保障方法