买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中国人民解放军陆军工程大学申请的专利一种基于深度强化学习的自适应导频方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115913836B 。

龙图腾网通过国家知识产权局官网在2025-08-01发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211412635.3，技术领域涉及：H04L25/02；该发明授权一种基于深度强化学习的自适应导频方法是由林鑫;刘爱军;梁小虎;李洋洋;高志祥设计研发完成，并于2022-11-11向国家知识产权局提交的专利申请。

本一种基于深度强化学习的自适应导频方法在说明书摘要公布了：本发明公开了一种基于深度强化学习的自适应导频方法，方法包括：发送端获取接收端返回的信道统计信息；基于信道统计信息，利用预训练好的基于深度强化学习的导频决策模型进行决策，得到导频决策结果；根据所述导频决策结果，调整时‑频域的导频间距和导频功率；其中所述基于深度强化学习的导频决策模型包括两个结构相同的评估神经网络和目标神经网络；采用ε‑greedy贪婪算法来进行训练至达到预设条件，得到训练好的基于深度强化学习的导频决策模型。该模型能够根据信道时变的统计特性调整导频分布和功率来适应非平稳的信道特性，在保证信道估计精度的同时，有效地减少了导频数量和功率开销，提高了通信系统工作效率。

本发明授权一种基于深度强化学习的自适应导频方法在权利要求书中公布了：1.一种基于深度强化学习的自适应导频方法，其特征在于，包括： 发送端获取接收端返回的信道统计信息；所述信道统计信息包括各个帧中时域相关向量、频域相关向量以及信噪比统计特性； 基于所述信道统计信息，利用预训练好的基于深度强化学习的导频决策模型进行决策，得到导频决策结果； 根据所述导频决策结果，调整时-频域的导频间距和导频功率； 其中所述基于深度强化学习的导频决策模型包括两个结构相同的评估神经网络和目标神经网络；采用ε-greedy贪婪算法来进行训练至达到预设条件，得到训练好的基于深度强化学习的导频决策模型；基于深度强化学习的导频决策模型的训练方法，包括： 步骤S1.初始化深度强化学习DQN网络参数和迭代数k＝1，设定经验回放单元大小和最大帧数kmax； 步骤S2.智能体接收第k帧中的信道统计信息sk，以概率1-ε随机选择一个动作ak＝ak'，否则选择输出Q值最大的动作其中θ为评估网络参数； 步骤S3.执行动作ak，并更新下一个状态为sk+1； 步骤S4.评估第k帧的信道归一化估计误差函数NMSEk和代价函数基于所述信道归一化估计误差函数NMSEk和代价函数得到奖励函数rksk,ak； 步骤S5.将sk,ak,rk,sk+1存入经验回放单元； 步骤S6.从经验回放单元随机抽取mini-batch小批量大小的历史数据计算目标值，利用RMSProp优化器最小化损失函数，并迭代更新评估网络参数θ；在1000次迭代后，用评估网络参数θ替代目标网络参数θ-； 步骤S7.k＝k+1，若k＞kmax，则训练结束；否则，返回步骤2； 将第k帧的动作表示为ak＝{Dfk,Dtk,ρk}，其中Dfk和Dtk分别表示导频符号在时域和频域的间隔；基于可能出现的相干带宽和相干时间用和分别表示可选的时频域导频间隔集合；ρk是导频符号功率和数据符号功率的比值，其可选空间为因此智能体的动作空间大小为T*F*Q，T和F分别为时域和频域可选导频间隔数量，Q为可选功率比数量； 第k帧的信道归一化估计误差函数NMSEk，包括： 其中，和分别表示第u个OFDM符号中第v个子载波处的实际信道响应和估计得到的信道响应，ND和NS分别表示OFDM符号和子载波的个数； 用代价函数表示导频数目和功率带来的信道估计开销，表达式为： 其中pk表示第k个帧中的导频功率，cb和Nk分别表示第k帧的导频的带宽传输代价和导频数目；pmax和cp分别表示最大传输功率及其传输代价； 基于所述信道归一化估计误差函数NMSEk和代价函数得到奖励函数rksk,ak包括： 第k个帧中的奖励函数rksk,ak： 其中NMSEk小于等于阈值Tth时，则认为满足性能要求，得到正向奖励u1；否则表示估计效果不佳，得到惩罚-u2。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国人民解放军陆军工程大学，其通讯地址为：210007 江苏省南京市秦淮区后标营路88号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。