买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：基于Q学习和精准调度的水声网络介质访问控制方法，涉及水声网络。在水声传感器网络中，感知海洋数据的节点位置存在不确定性。当传感器节点给信宿传输数据时，可将整个过程分为若干时隙。由于节点的时空不确定性和水声传输固有的低速现象，所有节点同时向信宿传输数据能减少冲突，提高信道利用率；结合Q学习算法，节点根据所收到的反馈信号更新其数据传输的时间点，减少冲突。本发明针对水声传感器网络多址接入时的高碰撞率、低吞吐量及低信道利用率等问题，通过采用全双工工作模式的水声传感器，采取并发调度，让数据同时传输，利用Q学习算法精准调度优化设计，提供一种快速收敛的介质访问控制方法，实现高吞吐量、高信道利用率的网络性能。

主权项：1.基于Q学习和精准调度的水声网络介质访问控制方法，其特征在于包括以下步骤：1参数初始化：考虑一个水声网络，其中包含M个节点和一个信宿，节点和信宿均采用全双工的工作模式；其中节点负责从海洋环境中感知信息，信宿则负责搜集节点感知到的信息数据；信宿的数据搜集过程有N个时隙，为确保每个节点都拥有一个时隙能将数据发送给信宿，令时隙数N与节点数M相等；在Q学习算法中，用大小为M×2N-1的Q矩阵描述节点访问信宿进行数据传输的时隙安排，其中Q矩阵中的行mm＝1,2,…,M表示节点序号，Q矩阵的列nn＝1,2,…,N,N+1,…,2N-1表示节点进行数据传输时的动作；当n＝N时，代表节点准时进行数据传输；当n＝N-k时，代表节点提前k个时隙进行数据传输；当n＝N+k时，代表节点延迟k个时隙进行数据传输；因此，Qm，N-k表示节点m选择提前k个时隙发送数据这一动作对应的Q值，Qm，N+k表示节点m选择延迟k个时隙发送数据这一动作对应的Q值；Qm，n的值越大表示第m个节点选择提前延迟|n-N|个时隙发送数据的优先级越大；即，节点m会优先选择矩阵Q的第m行中Q值最大的位置作为它的动作；若第m行中出现多个最大的Q值，则随机选择其中一个最大值作为它的动作；为降低节点运算复杂度，第m个节点只储存自己所对应的那行1×2N-1的Q值子矩阵Qm，其中Q＝[Q1；Q2；Q3；…；QM]；设每个节点的数据帧格式相同、长度相同，时隙的时间长度也相同，且时隙的时间长度等于水声最大传播时延加数据帧长度；初始Q值表为M×2N-1的矩阵；2当节点开始数据传输时，所有节点向信宿同时发送数据；信宿记录各个时隙的传输情况，分别为成功、冲突以及空闲三种情况；3信宿收到各时隙的传输情况后，会在冲突时隙的下一个时隙返还一个未成功传输信号NACK给冲突节点的其中一个；NACK信号包含冲突时隙的位置信息；4在所有节点传输数据完成后，信宿会广播一个反馈信号ACK给所有节点；该反馈信号包含每个时隙的信息，包括成功、冲突或空闲；节点在收到反馈信号后进行Q值表的更新；5Q值表更新机制设计：节点收到反馈信号后，进行Q值子矩阵Qm的更新；按照Q学习公式Qmm,:←1-γ·Qmm,:+γ·Rmm,:更新Q值表，其中，γ是学习速率，取值为0,1]，子矩阵Rm是大小与子矩阵Qm相同的奖励子矩阵；其矩阵中的值，具体设置如下：①当节点m既收到ACK信号，又收到NACK信号时：用空闲时隙的位置数减去此节点冲突时隙的位置数，得出两个时隙相差了a个时隙；此时，奖励子矩阵Rmm,:中的元素Rmm,N+K+a为正值|Ψ|，以确保Qmm,N+K+a值增加；其中K代表此节点在传输数据时相较于准时传输的延迟的时隙数；奖励子矩阵Rmm,:中的其他元素则为0；②当节点m只收到ACK信号时：奖励子矩阵Rmm,:中的元素Rmm,N+K为正值|Ψ|，以确保Qmm,N+K值增加；奖励子矩阵Rmm,:中的其他元素则为0；6判断是否还有节点收到NACK信号：若所有节点均未收到NACK信号，则表示学习已经结束，传输已经达到稳定状态；若还存在节点收到NACK信号，则表示在传输过程中还存在冲突，需重复步骤2至步骤6；7根据学习得到的最终Q值表，让节点m选择Q值最大所对应的动作发送数据给信宿，完成水声信道介质资源使用权分配任务。

全文数据：

权利要求：

百度查询： 厦门大学 厦门大学深圳研究院 基于Q学习和精准调度的水声网络介质访问控制方法