买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中国矿业大学申请的专利一种基于扩散状态规划的决策Transformer离线强化学习方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120181138B 。

龙图腾网通过国家知识产权局官网在2025-08-12发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510655213.6，技术领域涉及：G06N3/045；该发明授权一种基于扩散状态规划的决策Transformer离线强化学习方法是由王雪松;张恒瑞;程玉虎;万红设计研发完成，并于2025-05-21向国家知识产权局提交的专利申请。

本一种基于扩散状态规划的决策Transformer离线强化学习方法在说明书摘要公布了：本发明公开了一种基于扩散状态规划的决策Transformer离线强化学习方法，属于离线强化学习和序列决策技术领域，首先，鉴于现有条件序列建模的离线强化学习方法缺乏轨迹拼接能力，并且难以根据驱动回报进行合理的信用分配，引入高回报子目标状态以重新构建轨迹表征；然后，使用无分类器引导的扩散模型规划出具有高回报的状态序列；最后，使用决策Transformer根据已有轨迹和规划出的状态输出高质量的动作序列。本发明可以显著地增加序列建模方法的轨迹拼接能力，从而进行合理的信用分配。

本发明授权一种基于扩散状态规划的决策Transformer离线强化学习方法在权利要求书中公布了：1.一种基于扩散状态规划的决策Transformer离线强化学习方法，其特征在于，包括以下步骤： 将智能体的状态轨迹输入到训练好的无分类器引导的扩散模型中，规划出高回报子目标状态序列，其中，表示奖励的累计，表示状态，表示序列长度，表示高回报子目标状态； 将所述高回报子目标状态序列与状态轨迹进行拼接，得到拼接后的状态轨迹；表示动作， 将所述拼接后的状态轨迹输入到训练好的决策Transformer模型，生成最优动作序列； 对所述无分类器引导的扩散模型的训练过程为： 首先初始化所述无分类器引导的扩散模型网络的网络参数； 再采用经验池中的状态轨迹样本对所述网络参数进行更新，所述更新的方法为通过梯度下降法最小化如下损失函数： ； 其中，表示无分类器引导的扩散模型网络损失函数，表示期望符号，表示离散集上的均匀分布，表示扩散步数，表示预定义噪声，~表示采样操作，表示标准高斯分布，表示第步扩散的状态轨迹样本，条件以概率置空，记为： ； 其中，表示状态轨迹样本对应的累计回报，表示空集，表示奖励的累计； 对所述决策Transformer模型的训练过程为： 首先初始化所述决策Transformer网络的网络参数； 将经验池中的状态轨迹样本与高回报子目标状态进行拼接，得到拼接后的轨迹样本，基于所述拼接后的轨迹样本对所述网络参数进行更新； 所述更新的方法为通过梯度下降法最小化如下损失函数： ； 其中，表示决策Transformer网络的损失函数，表示对轨迹中的值求期望，表示序列长度，表示在第个时间步从经验池中采样出的动作，表示决策Transformer网络在第个时间步的动作输出。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国矿业大学，其通讯地址为：221148 江苏省徐州市铜山区大学路1号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。