买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：基于Q学习的水下无人集群编队时分‑空分多址接入协议，涉及水下无人集群编队。在水下无人集群编队中，各节点配备定向收发基阵和多路收发机。在初始化阶段，采用时分多址协议，主节点通过全向模式广播调度时隙信息，从节点在指定时隙广播反馈信息，完成网络接入。航行阶段，从节点向主节点传输数据，采用空分多址协议，主节点通过定向模式，根据从节点位置信息调整波束方向，实现多点同时通信。引入Q学习技术，动态调整波束角度，确保空分多址接入适应海洋环境动态变化，有效提高通信效率。为水下无人集群提供一种高网络吞吐量、高鲁棒性的多址接入方案。

主权项：1.基于Q学习的水下无人集群编队时分-空分多址接入协议，其特征在于包括以下步骤：1AUV集群编队场景设置：考虑一个AUV集群编队，包含一个主节点和N个从节点；各节点的最大传输范围相等，表示为R；每个从节点有一个独立的编号nn＝1,2,…,N；在AUV集群编队的工作过程中，从节点负责感知海洋环境中的信息，并将其传输给主节点；主节点位于编队中心位置，负责发送编队控制指令以及搜集从节点感知到的信息数据；各个主节点和从节点均配备1个定向收发基阵和MM≥N路收发机，定向发射基阵含K个波束，K＝β·M，即，每路收发机对应β个波束，记某路收发机为收发机mm＝1,2,…,M，其对应波束分别记作波束k-β+1,k-β+2,k-β+3,…,k，其中k＝β·m；收发机工作时，为抑制其他方向的干扰，将根据需要激活其中一个波束；定向发射基阵根据需要切换全向工作模式和定向工作模式；为方便取M＝N，即主节点的收发机数量与从节点数量相等，最多实现主节点同时向N个从节点定向发射和接收不同数据的功能；2AUV集群编队初始化阶段MAC协议：在AUV集群编队初始化阶段，由于主节点对从节点的方位、距离、海洋信道环境等外界因素处于全盲状态，需采用时分多址TDMA协议以牺牲时间代价获取更为准确的信息，便于完成从节点完成接入网络任务：主节点定向收发基阵采用全向工作模式，计算并向各从节点广播TDMA调度时隙信息；假设节点已完成时间同步，对于从节点n，其调度时隙开始于Tn：Tn＝n·T,1其中，Tn表示从节点n的调度时隙开始时间，n表示从节点n的编号，T表示单个时隙的长度，为确保各从节点都能完成接入网络任务，时隙长度T由下式表示：T＝Rvwater+tpacket,2其中，vwater表示水中声速，tpacket表示发送数据包所需的时间；R表示各节点的最大传输范围；当从节点n接收到来自主节点的调度时隙数据包时即获取Tn，并在Tn时刻广播反馈信息；主节点接收到各从节点反馈信息后，获得从节点距离、方位和海洋信道环境等信息，完成AUV集群编队初始化；3AUV集群编队航行阶段MAC协议：在航行阶段中，AUV集群编队的任务是搜集水下信息数据，该阶段主要是从节点向主节点进行数据传输；主节点每隔一段时间Tc通过全向模式广播一次编队控制信息，包括移动速度和方向，以确保集群编队能够保持队形；Tc表示主节点全向模式广播的时间间隔；由于该阶段主从节点的位置相对固定，从节点的传输根据节点相对位置采用空分多址SDMA协议：主节点定向收发基阵采用定向工作模式，按照步骤2中获取的从节点位置信息，调整各路收发机，使每路收发机对应的一个波束指向一个从节点，通过波束形成技术激活该波束；由于取M＝N，记收发机m对应的从节点为从节点m，收发机m的波束k-β+1,k-β+2,k-β+3,…,k之一对准从节点m后，主节点通过该波束与从节点m完成信息交换；由于主节点共有M路发射机，同时向不同方向的M个从节点发送不同的数据，而无需浪费从节点的轮候时间；该阶段中，主节点在接收从节点发送信息的同时，也会记录接收信噪比SNR；用DT表示信号检测阈，认为当SNR≥DT时，物理层100％无误解码，即接收端100％收到发送端传来的数据包；由于水流等海洋环境动态变化，从节点所在位置可能发生漂移，导致偏离原来波束的覆盖范围，有必要调整波束以重新对准从节点；对于收发机m，当节点m位于波束覆盖范围内，则有SNR≥DT；当SNR＜DT时，说明从节点m偏离波束覆盖范围，便启动基于Q学习的波束角度调整机制：3.1Q值表初始化：生成一个A行、B列的Q值表，Q值表的行数和列数满足下式： 其中，A值表示最大迭代次数，若拓扑结构变化比较剧烈取较大的值；B值表示收发机m对应的波束数；Q值表的行aa＝1,2,…,A表示从节点位置离开波束覆盖范围后经历的时隙个数，不计入主节点广播编队控制信息占用时隙，Q值表的列bb＝1,2,…,B表示调整收发机m激活波束k-β+b；因此，Qa,b表示在第a个时隙调整收发机m激活波束k-β+b这一动作对应的Q值；Qa,b的值越大表示在第a个时隙调整收发机m激活波束k-β+b的优先级越大；即，在第a个时隙中，收发机m会优先选择Q值最大的波束激活；若第a行中出现多个最大的Q值，则收发机m随机选择其中一个波束激活；3.2Q值更新机制：在第a个时隙中，收发机m根据此时的Q值激活波束k-β+b后，根据获得的接收信噪比SNR判断奖励r的值： 其中，r表示奖励值，SNR表示接收信噪比，DT表示信号检测阈；若SNR≥DT，说明此时收发机m激活的波束能够正常接收来自从节点m的信息，给予正值奖励；反之，则说明收发机m激活的波束范围仍不能覆盖从节点m，给予负值奖励；第a+1行的Q值更新如下：Qa+1,b←1-γQa,b+γ·r5其中，γ为学习率，取值范围0,1]；r表示奖励值；初始化Q值表时，Q1,b也按照公式4和5进行初始化Q0,b＝0；当a＝A时，即Q值表填满时，选择最大Q值对应波束激活后，一轮更新结束，清空Q值表，结束基于Q学习的波束角度调整机制；若此时SNR≥DT，说明当前的波束范围已能够覆盖从节点m；若SNR＜DT，则从节点m可能离开收发机m对应的所有波束覆盖范围，采用步骤2中的TDMA协议重新进行AUV集群编队初始化；3.3多路收发机的Q值更新情况：每路收发机都拥有一个独立的Q值表，若多路收发机出现SNR＜DT的情况，这些收发机基于Q学习的波束角度调整同时进行，互不干扰；但当某路收发机结束基于Q学习的波束角度调整机制后，若须选择步骤2中的TDMA协议重新进行AUV集群编队初始化，则其他所有收发机的波束角度调整也会结束，并清空Q值表。

全文数据：

权利要求：

百度查询： 厦门大学 厦门大学深圳研究院 基于Q学习的水下无人集群编队时分-空分多址接入协议