买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京理工大学

摘要：本发明公开的基于优化的DDPG的RIS辅助非授权频谱共存方法，属于无线通信中的频谱资源分配技术领域。本发明通过计算蜂窝系统中每个UE的信干噪比和吞吐量、计算WiFi系统中每个STA受到蜂窝系统的干扰，建立通信网络优化模型，将通信网络优化模型转化为马尔科夫过程，并使用基于优化的深度确定性策略梯度DDPG求解，自适应确定gNB的发射波束赋型和RIS的反射波束赋型；即基于优化的深度确定性策略梯度DDPG更有效地辅助基站发射波束赋形和RIS反射波束赋形，提升RIS辅助非授权频谱共存系统的吞吐量和收敛速度，同时将蜂窝网络对WiFi系统的干扰控制在预设范围内，从而实现异构系统之间的协调共存。

主权项：1.基于优化的DDPG的RIS辅助非授权频谱共存方法，应用于RIS辅助非授权频谱共存系统，位于非授权频段，系统中存在一个蜂窝网基站，配有Nt根发射天线，服务K个单天线蜂窝网用户；一个RIS设备，配有Nr个反射单元；M个WiFi接入点，每个接入点服务一个单天线WiFi用户；因为WiFi接入点和WiFi用户之间的距离远小于蜂窝网基站和蜂窝网用户之间的距离，将一对WiFi接入点和WiFi用户抽象成一个整体；其中，蜂窝网基站简写为gNB，即generationNodeB；蜂窝网用户简写为UE，即User；WiFi接入点简写为AP，即accesspoint；WiFi用户简写为STA，即station；其特征在于：包括以下步骤，步骤一：遍历所有UE和STA，分别计算UE的信干噪比、吞吐量和STA受到蜂窝网络的干扰；步骤二：基于步骤一获取的UE吞吐量和STA受到蜂窝网的干扰，构造以最大化蜂窝网系统总吞吐量为目标函数的通信网络优化模型，并给出满足蜂窝网对WiFi系统的干扰和gNB发射功率的约束；步骤二实现方法为，基于步骤一获取的UE吞吐量和STA受到蜂窝网的干扰，构造以最大化蜂窝网系统总吞吐量为目标函数的通信网络优化模型，并且给出满足蜂窝网对WiFi系统的干扰和gNB发射功率的约束，具体为4： 其中，k的取值范围为1到K，表示第k个UE，表示第k个UE的吞吐量，Im表示第m个STA受到的干扰，W表示带宽，Ith表示STA所能容忍的最大干扰，Tr表示矩阵的迹，P表示gNB的最大发射功率限制；步骤三：将步骤二建立的通信网络优化模型求解过程转化为马尔科夫过程；步骤三实现方法为，步骤3.1定义gNB为智能体；步骤3.2在每个时间步t下，状态空间定义为当前每个UE的吞吐量，每个STA受到的蜂窝网干扰以及中断标志，也即其中，如果式4中的约束条件不被满足，则ot＝1；步骤3.3在每个时间步t下，智能体根据当前观测到的状态和从过去经验中学到的知识，共同决定gNB的发射波束赋形和RIS的反射波束赋形，故定义动作空间at＝wt,θt；步骤3.4定义奖励函数rtst,at，具体为5： 其中，在每个时间步t下，当中断发生时，奖励变为0；步骤四：采用基于优化的深度确定性策略梯度DDPG方法，求解步骤三建立的马尔科夫过程，确定最终的gNB发射波束赋形和RIS反射波束赋形；步骤四实现方法为，步骤4.1初始化在线Actor网络、在线Critic网络、目标Actor网络、目标Critic网络及训练参数；步骤4.1.1分别以随机参数α和c初始化在线Actor网络和在线Critic网络，以参数α′和c′初始化目标Actor网络和目标Critic网络，其中α＝α′，c＝c′；步骤4.1.2初始化折损因子、软更新系数、mini-batch大小、最大迭代次数以及经验池；步骤4.2对步骤4.1初始化的在线Actor网络、在线Critic网络、目标Actor网络、目标Critic网络进行如下训练：步骤4.2.1基于高斯随机过程，初始化动作探索过程，将状态空间初始化为当前状态序列的第一个状态s1；步骤4.2.2遍历t从1到T-1，在第t个时间步下，将st输入到在线Actor网络中，输出动作at，即当前在线Actor网络决定的gNB发射波束赋形和RIS反射波束赋形；步骤4.2.3执行动作at，即根据式123计算当前每个UE的吞吐量，每个STA受到的蜂窝网干扰，根据式4中的约束条件判断ot的取值，得到st+1，并根据式5得到rt；步骤4.2.4将[st,at,rt,st+1]作为时间步t下的经验放入经验池中；步骤4.2.5在经验池中随机采样，采样大小为mini-batch大小，记为B；步骤4.2.6将B个样本输入到目标Actor网络和目标Critic网络，得到B个样本中第i个样本进行更新的目标值，记为yi，表示为yi＝ri+βQ′si+1,π′si+1|α′|c′；其中，ri表示采样得到的B个样本中第i个样本的奖励，β表示折损因子，Q′表示具有参数c′的目标Critic网络，π′表示具有参数α′的目标Actor网络；步骤4.2.7对于B个样本中第i个样本，固定当前RIS反射波束赋形θi，带入到式4中，则式4转化为一个易于求解的凸优化问题，得到近似解w′i，以及如果y′i＞yi，则更新yi＝y′i，且ai＝w′i,θi，否则不更新；步骤4.2.8通过最小化损失函数来更新在线Critic网络参数；其中，Q表示具有参数c的在线Critic网络；步骤4.2.9通过来更新在线Actor网络参数；其中表示在线Critic网络Qs,a|c在状态si和动作ai时求导，表示在线Actor网络在状态si时求导；步骤4.2.10根据式67更新目标Actor网络和目标Critic网络的参数：α′＝τα+1-τα′6c′＝τc+1-τc′7其中，τ表示软更新系数；步骤4.2.11更新状态st＝st+1；步骤4.2.12重复步骤4.2.1至步骤4.2.11直到达到最大迭代次数，得到最终的gNB发射波束赋形和RIS反射波束赋形。

全文数据：

权利要求：

百度查询： 北京理工大学 基于优化的DDPG的RIS辅助非授权频谱共存方法