买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中国科学技术大学申请的专利有模型离线强化学习训练方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116702927B 。

龙图腾网通过国家知识产权局官网在2025-09-30发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310701971.8，技术领域涉及：G06N20/20；该发明授权有模型离线强化学习训练方法是由朱进;杜春晖设计研发完成，并于2023-06-14向国家知识产权局提交的专利申请。

本有模型离线强化学习训练方法在说明书摘要公布了：本发明提供一种包含策略约束及不确定估计的有模型离线强化学习训练方法。首先进行动力学模型更新：设定集合成员数目，模型前向预测次数并初始化模型集合、策略网络、值函数网络；从静态数据集随机采样静态数据并根据其更新模型，重复这一步骤直到模型收敛。其次进行策略更新：对采样的静态数据通过模型进行多次预测，得到预测数据和不确定性估计并对预测奖励减去不确定性得到动态数据；将动态数据放入经验池中并从静态数据集和经验池中采样静态数据和动态数据；将动态数据中的状态输入策略网络和模型，得到下一状态的预测；通过静态数据，动态数据及下一状态的预测更新策略网络和值函数网络，重复上述策略更新步骤直到策略网络收敛。

本发明授权有模型离线强化学习训练方法在权利要求书中公布了：1.一种包含策略约束及不确定估计的有模型离线强化学习训练方法，其特征在于，包括如下步骤： 步骤一、更新环境的动力学模型，包括： 步骤S1：设定集合成员数目，动力学模型前向预测次数，保守估计权重； 步骤S2：初始化环境的动力学模型集合，，其中代表一个动力学模型，强化学习策略网络，值函数网络，静态经验池，动态经验池； 步骤S3：将存储格式为四元组的静态数据集的数据放入静态经验池中，其中代表当前时刻状态，代表当前时刻动作，代表当前时刻奖励，代表下一时刻状态； 步骤S4：从静态经验池中随机采样得到静态数据，静态数据以四元组形式表示； 步骤S5：根据静态数据更新动力学模型集合，包括： 步骤S5a：将静态数据中的和表示为状态动作对； 步骤S5b：将状态动作对输入动力学模型集合中得到代表当前时刻奖励和下一时刻状态的高斯分布的均值与方差的集合，其中，代表了动力学模型输出的结果，代表得到的的均值，代表得到的的方差，代表得到的的均值，代表得到的的方差； 步骤S5c：对于集合M中的每一个动力学模型，通过最大似然的方式进行更新，如式1所示，其中为模型更新时的损失函数： 1重复步骤S4和步骤S5直到动力学模型集合收敛； 步骤二、更新强化学习策略网络，包括： 步骤S6：从静态经验池中采样静态数据，并通过动力学模型集合和策略网络预测未来步的数据，得到预测数据并得到不确定性估计； 步骤S7：对预测数据中的奖励减去不确定性估计得到动态数据，并将其放入动态经验池中； 步骤S8：从静态经验池和动态经验池中采样相同数目的静态数据和动态数据； 步骤S9：将从动态经验池中采样动态数据中的状态输入策略网络，得到动作，并因此得到状态动作对； 步骤S10：将得到的状态动作对输入动力学模型集合，得到下一状态的预测； 步骤S11：通过采样得到的静态数据和动态数据以及下一状态的预测来更新策略网络； 步骤S12：通过采样得到的静态数据和动态数据更新值函数网络，包括： 步骤S12a：将采样得到的静态数据和动态数据混合成数据，数据用四元组形式表示： 步骤S12b：通过公式3所提供的值函数更新时的损失函数更新值函数网络，其中代表下一时刻动作：     3其中，代表将状态输入策略网络并得到动作： 是函数的期望； 重复步骤S6‑步骤S12直至策略网络收敛。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国科学技术大学，其通讯地址为：230026 安徽省合肥市包河区金寨路96号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。