买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：重庆邮电大学

摘要：本发明涉及一种基于强化学习的SDWSN最优路径计算方法，属于软件定义无线传感网络领域。该方法包括：S1：结合节点位置和时延信息，构建网络节点能耗估算模型，并根据该模型估算所有节点的能耗速率；S2：根据能耗和节点密度空间的相关性，采用动态半径的簇头选择算法，计算出事件区域需要选取的簇头节点数k；同时选取k个副簇头节点作为簇头节点的簇内数据转发节点；S3：采用基于强化学习的最优路径选择算法，计算传输的最优路径。本发明能有效提高生存周期、均衡网络能耗和提高数据包传输率。

主权项：1.一种基于强化学习的SDWSN最优路径计算方法，其特征在于，该方法具体包括以下步骤：S1：结合节点位置和时延信息，构建网络节点能耗估算模型，并根据该模型估算所有节点的能耗速率；S2：根据能耗和节点密度空间的相关性，采用动态半径的簇头选择算法，计算出事件区域需要选取的簇头节点数k；同时选取k个副簇头节点作为簇头节点的簇内数据转发节点；S3：采用基于强化学习的最优路径选择算法，计算传输的最优路径；步骤S1中，构建网络节点能耗估算模型，具体包括：网络区域为半径R的圆形区域，若干个传感器节点随机非均匀分布在圆形区域内，圆心O为代理节点，RSN完成与控制器之间的消息交互，RSN感知范围半径为rO的事件区域；半径为R的圆形区域随机发生网络事件，一个周期内，单位面积发生事件概率为Φ，每个事件产生m个报文，且数据产生频率为f；距离事件源c跳外数据被聚合，c跳内的数据未被聚合；节点传输半径为r；在网络中取一个圆环次半径为rx→0，圆环内节点j与节点O的距离为rO，且rO＝hr+d，h为跳数，d表示小于一跳的距离，该区域节点密度为ρ，由此得到该区域c跳内未聚合的数据包数Punagg为：Punagg＝m*Φ*π*rx[2*rO+2*rO+r+...+2*rO+c*r+c+1*r]c跳外被聚合的数据包总数Pagg为： 其中，为数据聚合的遗忘因子，a是数据聚合的相关系数，v是节点O到网络边缘的总跳数，Φ为单位面积发生事件概率；区域S1内节点j传输的数据包总数P为： 节点传输一个数据包的能量为enode，计算出节点j每个周期所传输数据的能量消耗Enode为：Enode＝P*enode节点非通信能量消耗Euncom为： 其中，et为节点等待每毫秒所消耗的能量，k是事件区域的簇头总数，q为数据帧长度，vk是数据的传输速度：由以上得出每个节点一个周期的能耗E为：E＝Enode+Euncom；步骤S2中，构建计算簇头节点数k的表达式为： 其中，kh是在HOT区域分配最少的簇头数量，ρh是HOT区域的密度最小的区域的节点密度，Ph是HOT区域的密度最小的区域节点传输的数据包总数；动态半径的簇头选择算法，具体包括以下步骤：S21：通过计算出的事件区域需要选取的簇头节点数k，初始簇头节点数量为A＝0；S22：SDN控制器分别生成节点集NA、NB和NAC，集合NB初始化为除O节点的所有节点的集合，其余集合为空；S23：SDN控制器在集合NB中选择能量最多的节点作为簇头节点，并放入集合NA，同时从NB中移除；S24：考虑节点的能量和簇头节点的密度得出簇头通信半径Rcluster： 其中，Rcom是节点最大的通信半径，α1、α2和α3分别表示密度权重、距离权重和能量权重；nj表示邻居节点的数量，nmax表示最大节点的数量；dj,O表示簇头节点到节点O的距离，D表示簇头节点到O的最大距离，dmin表示簇头节点到O的最小距离；Ej表示簇头节点剩余能量，Emax是簇头节点最大时的能量；S25：A＝A+1，如果A＝k则算法结束，否则执行S26；S26：对集合NB中节点进行判断，把在半径Rcluster圆内的节点移至集合NAC；S27：在集合NAC中选取副簇头，副簇头节点要接近O节点和下一跳的簇群； 簇内节点计算出Deputy值，选取最小的Deputy的节点作为副簇头；S28：判断NB集合是否为空，若空则执行S29，否则执行S210；S29：重置NA、NB和NAC为初始状态，令A＝1，Rcluster＝Rcluster-Rm，跳转S26；S210：选择能量最多的节点为簇头节点并放入集合NA，并从NB中移除该节点，并计算Rcluster；步骤S3中，数据传输阶段：簇间通信采用单跳通信与多跳通信的混合模式，SDN控制器计算簇头节点的路径；计算传输的最优路径，具体包括以下步骤：S31：初始化SDN控制器；S32：SDN控制器在距离阈值和最大副簇头节点数内收集所有副簇头节点的能量和副簇头节点间的距离信息；S33：将S32收集信息作为链路的权重，并按递增的顺序排序；S34：随机选取一个副簇头节点作为起点，建立已包含的副簇头节点为集合F，未包含的副簇头节点为集合V，V到F所有链路的权重为集合C；S35：选择C中最小权重对应V中的副簇头节点i；S36：判断V是否为空，具体包括：S361：若V不为空则将副簇头节点i加入F，同时从V中删除，更新V中其余副簇头节点到F中副簇头节点权重最优路径，跳转到步骤S34；S362：若V为空，则输出最小生成树，初步得到路由路径表列表，继续执行步骤S37；S37：SDN控制器从路由路径表列表中随机选择一个路由路径表并广播；S38：使用强化学习实时更新路由路径表列表；S39：通过设定的奖励函数计算奖励，并在每一周期学习结束后计算Q-value，根据获得奖励选择下一跳副簇头节点，由此更新路由路径表列表，先判断是否有簇头节点能量耗尽，若有则跳至S32；若无接着判断是否有副簇头节点能量耗尽；具体包括：S391：有副簇头节点能量耗尽，则从路由路径表列表中去除该副簇头节点，并跳转到S32；S392：如果没有簇头节点能量耗尽则跳转到步骤S38。

全文数据：

权利要求：

百度查询： 重庆邮电大学 一种基于强化学习的SDWSN最优路径计算方法