买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉浙江大学申请的专利一种序列并行的基于模型的强化学习方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119692422B 。

龙图腾网通过国家知识产权局官网在2025-12-19发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411792355.9，技术领域涉及：G06N3/092；该发明授权一种序列并行的基于模型的强化学习方法是由张寅;王子瑞设计研发完成，并于2024-12-06向国家知识产权局提交的专利申请。

本一种序列并行的基于模型的强化学习方法在说明书摘要公布了：本发明公开了一种序列并行的基于模型的强化学习方法。本发明在线性循环神经网络的线性注意力机制的基础上，使用均方根层归一化和门控单元构建可充分并行化的世界模型；同时使用并行扫描算法对策略学习阶段的资格迹估计过程实现时间序列上的并行化。和现有技术相比，本发明结合并行扫描算法，在保持高样本效率的前提下，在世界模型训练和资格迹估计两方面同时提升了基于模型的强化学习的硬件效率。

本发明授权一种序列并行的基于模型的强化学习方法在权利要求书中公布了：1.一种序列并行的基于模型的强化学习方法，其特征在于，包括以下步骤： S1、构建时间序列并行化的世界模型，以模拟游戏环境的运行规律；所述世界模型包括编码器网络、解码器网络、序列建模网络、环境动态预测网络和奖励预测网络，用于将从游戏环境获取的观测输入映射到一个低维的隐空间中，在隐空间中使用序列建模网络和环境动态预测网络实现对未来的预测； S2、构建强化学习策略网络与价值网络，不断从游戏环境中获取不同时刻的观测ot；对于每个当前时刻t，将游戏环境中获取的当前时刻t观测ot输入编码器网络，获得当前时刻t的隐空间向量zt，将当前时刻t的隐空间向量zt与序列建模网络输出的表征历史上下文信息的隐向量ht-1拼接后同时作为策略网络与价值网络输入，设定所述世界模型的序列建模网络采用时间序列串行模式，由策略网络输出控制游戏环境中角色交互的动作at，由价值网络输出当前游戏环境所处状态下游戏角色执行动作的价值估计vt、游戏环境接收到动作后反馈的下一时刻的观测ot+1、游戏角色获得的单步奖励rt以及游戏是否终止的信号dt，最后将观测、动作、单步奖励收集到经验回放缓存中； S3、从经验回放缓存中随机采样交互序列数据训练世界模型，所述交互序列数据包括观测序列、动作序列与奖励序列，其中世界模型的序列建模网络采用时间序列并行模式进行训练； S4、对从经验回放缓存中随机采样的交互序列数据执行展平操作，交互序列数据中每个时刻t的数据都作为预测的起点，使用策略网络采样的游戏角色动作at与世界模型进行交互，并将世界模型预测的下一时刻观测的隐空间向量、预测的奖励保存至临时缓存中； S5、将临时缓存中观测的隐空间向量和历史上下文ht-1输入价值网络得到价值估计，使用并行化的资格迹估计计算价值网络的时序差分目标，并训练价值网络；具体实现过程如下： 将临时缓存中观测的隐空间向量和历史上下文输入价值网络得到价值估计，计算单步时序差分目标，用公式表示为： 使用时间序列并行模式完成计算资格迹估计，用公式表示为： 其中，是超参数，当时，此时利用时序差分价值目标得到价值网络的回归损失，由此训练价值网络的损失函数用公式表示为： 式中：表示L2范数的平方； 通过最小化上述损失函数训练价值网络； S6、利用时序差分目标计算得到优势估计值，并使用优势估计值训练策略网络，利用训练得到的策略网络控制游戏环境中角色交互的动作。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浙江大学，其通讯地址为：310058 浙江省杭州市西湖区余杭塘路866号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。