买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：电子科技大学

摘要：本发明属于无线通信技术领域，具体涉及一种基于深度强化学习和RIS分块的被动波束赋形方法。为了降低现有波束赋形算法的复杂度，提高多用户MIMO系统的总和速率，本发明提出了一种实时无源波束赋形方法，通过将无源波束赋形问题建模为马尔可夫决策过程，使用深度强化学习来解决这一优化问题。此外，本发明利用RIS分区来减少深度强化学习的动作空间，从而进一步降低复杂度。在Rician信道模型下，对所提方法进行了性能测试，证明了本方法的优越性。

主权项：1.一种基于深度强化学习和RIS分块的被动波束赋形方法，用于多用户MIMO系统，系统由基站、RIS和K个单天线用户组成，其中基站配备有NB个天线，以均匀线性阵列的形式排列；RIS由NR个反射元件组成，排列在xy平面上的均匀平面阵列中，其中NR＝Nx×Ny，表示在x轴上有Nx个反射单元，在y轴上有Ny个反射单元；其特征在于，所述方法包括：S1、对无线通信信道进行建模，定义为基站和RIS之间的信道响应矩阵,和分别为基站到用户k和RIS到用户k的信道响应矢量，在第t个传输块时，基站和用户k之间的信道模型表示为 其中，Θt＝diag{θt}，是RIS在第t个信道块时的相移矢量；设定信道{hk,t}是完全已知的，则用户k在第t个传输块接收到的信号表示为： 其中，代表相应的发射波束赋形矢量，sk,t代表发射给用户k的信号，代表用户k处的加性高斯白噪声，由此得到在第t个信道块时用户k处的信号与干扰加噪声比为： S2、得到所有用户的和速率为： S3、将RIS控制器视为一个智能体，在每个传输块开始时，智能体会获取环境状态，然后配置RIS的相移矢量，使和速率最大化，从而将环境推向下一个状态；因此，将相位配置过程建模为马尔可夫决策过程，将第t+1个传输块的和速率最大化问题建模为： 其中⊙代表Hadamard乘积，Δθt是θt的增量相移，是包含所有可能的增量相移的集合，是包含所有可能的相移的集合；S4、将RIS平均划分为S个相同的子表面，对于子表面s，采用线性增量相移结构来控制子表面s反射的波束方向，RIS控制器选择相位梯度G＝[g1,…,gS]作为当前RIS相位的相位梯度，其中代表子表面s的相位梯度，gx,s和gy,s分别表示子表面s沿x轴和y轴两个方向的相位梯度分量，gx,s和gy,s选自一个包含2r+1个分量的有限集合其中r取决于RIS相位调控的精度；定义基站天线阵元和RIS反射相位之间均为半波长间隔，则第n个反射单元的增量相移表示为： 式中nx＝modmodn-1,Nx,Nx,s+1,s 其中s为第n个反射单元所在的子表面编号，将约束θt+1＝θt⊙Δθt转化为： 其中S5、建立深度强化学习网络模型，并定义模型中的智能体为RIS控制器；模型的输入为第t个信道块的状态st，定义为{{hk,t},θt}，包含两个子状态；动作定义为RIS在第t个信道块的相位梯度Gt，当动作Gt被选择之后，基于S4中的公式计算出Δθt，得到新的RIS反射相位，即θt+1＝θt⊙Δθt；回报定义为在状态st执行动作Gt得到的即时奖励，即： 其中P＝Csum,t是用于评估动作Gt的性能指标，Pth是性能指标的门限值，当P小于Pth时，施加一个罚项S6、对建立的深度强化学习网络模型进行训练，包括：动作生成阶段：在第t个信道块，多用户信道响应矩阵的估计值{hk,t}和RIS的相移矢量作为深度神经网络的输入，组成时刻t的状态st，使用ε-greedy策略在深度强化学习网络的输出层选择动作用于确定RIS的相位梯度Gt；具体为：为了服务K个用户，RIS被分成了K个相同的正方形子块，即对于i＝1,…,K有Nx,i＝Ny,i；动作集包含m种可能的相位梯度值，有深度强化学习网络的第1至第m个输出神经元用于控制子表面1沿x轴的相位梯度，若这些神经元中的第l个神经元具有最大的Q值，则且同理，第m+1个到第2m个神经元用于确定gy,1的值，其他子表面以此类推；在执行完动作后，得到奖励rt，状态从st转移到st+1，构成一个训练样本，存放进经验重放库；策略更新阶段：从经验重放库中随机挑选一组训练样本，通过DDQN的原理计算目标值Ti： 其中代表在状态si执行动作后转移到状态si+1时得到的奖励，随后深度强化学习网络利用{si,Ti}进行训练，定期使用当前网络Q的参数来更新目标网络的参数，在这个迭代过程中，策略逐渐得到改进，训练完成后，保存训练好的网络；S7、利用训练好的网络进行RIS的被动波束赋形。

全文数据：

权利要求：

百度查询： 电子科技大学 一种基于深度强化学习和RIS分块的被动波束赋形方法