买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜郑州大学申请的专利一种基于多智能体DQN的IRS辅助D2D系统资源分配方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115412936B 。

龙图腾网通过国家知识产权局官网在2025-03-25发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210869229.3，技术领域涉及：H04L41/00；该发明授权一种基于多智能体DQN的IRS辅助D2D系统资源分配方法是由朱政宇;巩梦飞;赵航冉;宁梦珂;王宏旭;梁静;宋灿;孙钢灿;郝万明;侯庚旺;李铮设计研发完成，并于2022-07-22向国家知识产权局提交的专利申请。

本一种基于多智能体DQN的IRS辅助D2D系统资源分配方法在说明书摘要公布了：本发明公开了一个智能反射面IRS辅助设备到设备D2D通信中复用上行链路频谱资源的场景，提出一种基于多智能体DQN的IRS辅助D2D系统资源分配方法，用以提升蜂窝用户最大传输速率。本发明通过满足D2D用户最小传输速率和能量接收机最低能量采集的约束，联合优化D2D用户发射功率和IRS相移，构建最大化蜂窝用户信息传输速率模型。提出一种多智能体DQN资源分配算法，每个DQN网络只负责一个agent的学习并输出D2D功率和IRS相移。仿真结果表明，与其他方法相比，所提出的资源分配算法可以从环境中学习并不断改善行为，在较低的复杂度下显著提高蜂窝用户最大传输速率，同时拥有良好的收敛效果。

本发明授权一种基于多智能体DQN的IRS辅助D2D系统资源分配方法在权利要求书中公布了：1.一种基于多智能体DQN的IRS辅助D2D系统资源分配方法，其特征在于，步骤如下：步骤1，设置基站、IRS、蜂窝用户、K对D2D用户和能量接收机EnergyHarvestingReceiver,EHR的位置，对蜂窝用户到BS、IRS、接收用户D2DReceiver,DR、EHR的信道，发射用户D2DTransmitter,DT到DR、IRS、BS、EHR的信道，IRS到BS、DR、EHR的信道进行建模并得到信道增益；步骤2，根据步骤1中的信道增益，构建蜂窝用户最大传输速率问题；步骤2.1，蜂窝用户向基站发送的信号的最大传输速率表示为Rc；步骤2.2，系统目标是在满足D2D用户最小传输速率、EHR最低能量采集约束条件下，针对IRS相移矩阵、DT发射功率进行优化，构建蜂窝用户最大传输速率问题；步骤3，根据系统中的IRS相移矩阵，DT发射功率分配，D2D用户最小传输速率，EHR能量采集，分别对深度强化学习的三大要素：状态、动作及奖励进行定义与设计，其中所述状态、动作及奖励的定义与设计具体包括为：状态：DQN网络需要根据当前所处状态选择最佳的动作，以此来获得更多的奖励，从而能够在保证在满足D2D用户最小传输速率条件下最大化蜂窝用户的传输速率，针对这一目标，状态空间S被定义为D2D用户的SINR，因此，在t时刻智能体所处的状态为： 其中，SINRit为第i个智能体在t时刻的信干噪比，即传输速率；动作：DQN算法中，每输入一个状态，DQN网络会根据ε-greedy策略来选择一个动作，agent执行这个动作获得一个奖励值并到达下一个状态，ε-greedy策略表示为： 其中，0＜ε＜1，针对所提IRS辅助D2D通信系统，动作空间A应包含所有的功率选择和IRS相移选择，因此，t时刻的动作at定义为： 其中，A1和A2分别表示D2D用户功率分配空间和IRS反射元素相移选择空间；奖励函数：本模型采用蜂窝用户的速率作为瞬时奖励，考虑D2D用户的最低传输速率约束，奖励值rt定义为： 其中为蜂窝用户的瞬时信干噪比，为D2D用户的瞬时信干噪比，Rmin为最低传输速率门限，则长期累积的奖励值为： 其中，γ∈[0,1]为折扣因子，表示agent对未来奖励的关注程度，当γ＝0时，agent只关注当前时刻的奖励值，γ越大，则表示agent越关注未来的奖励，有助于agent更加明智的选择动作；步骤4，利用多智能体DQN算法优化强化学习网络模型，并根据优化后的网络模型获得蜂窝用户最大传输速率，所使用算法优化强化学习网络模型过程具体包括：整个算法由在线决策和离线训练两部分组成：在线决策阶段，首先初始化当前环境，得到初始状态st，根据ε-greedy0＜ε＜1策略选择一个动作，然后计算奖励值并到达下一个状态st+1，然后将st,at,rt,st+1作为数据样本存入经验池中，其中st为t时刻的D2D用户的SINR状态，at为t时刻的动作；离线训练阶段，从经验池中随机抽取一批数据，根据以下定义计算出真实的Q值：yt＝rt+γmaxQst+1,at+1；θ其中，θ为网络中的参数，通过训练当前值网路，更新参数θ，让网络预测的Q值无接近真实的Q值，因此损失函数表示为：ψt＝yt-Qst,at；θ2随后，通过采用Adam优化器最小化损失函数，然后反向传播更新网络中的参数，训练一段时间后，将当前值网络中的权值参数复制到目标值网络。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人郑州大学，其通讯地址为：450000 河南省郑州市高新技术开发区科学大道100号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。