买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国科学技术大学

摘要：本发明公开了一种基于分布式设计的大规模强化学习训练框架系统，可以通过分布式地运行多个行动者模块，利用集群大量的CPU计算资源，大规模、高并发地产生训练数据，突破了单机训练的物理限制，大幅提升了强化学习中的数据产生效率。通过支持多个学习者模块加入训练，本框架更是进一步地提高了训练效率。同时，为了方便用户使用，本训练框架系统进行了清晰合理的抽象，为强化学习中的所有过程设计了接口，使得用户无需知悉训练中所涉及到的大部分实现细节。因此，通过本发明设计的大规模强化学习分布式训练框架系统，强化学习研究者可以更轻松地进行大规模强化学习，充分利用大规模集群的计算资源，缩短了训练智能体所需的时间。

主权项：1.一种基于分布式设计的大规模强化学习训练框架系统，其特征在于，包括：布设在集群内多台计算机上且分布式并行运行的N个行动者模块与M个学习者模块，以及训练数据集中存储模块，行动者模块与学习者模块在运行时分别占用所属计算机中的不同计算资源，N与M均为设定的正整数；其中：每一行动者模块，用于通过智能体当前包含的网络模型，从当前应用场景中获得训练数据；训练数据集中存储模块，用于存储训练数据；每一学习者模块，用于从所述训练数据集中存储模块中提取训练数据进行网络模型的训练，并输出训练得到的网络模型参数更新所述行动者模块中智能体包含的网络模型；每一行动者模块包括：网络模型推理加速模块、并行环境推演模块与网络模型发现模块；其中：所述网络模型推理加速模块中包含n个智能体副本，所述并行环境推演模块中包含n个环境副本，n个环境副本均为应用场景；所述网络模型发现模块，用于搜寻是否存在训练后的网络模型，若存在，则将所有智能体副本中的网络模型更为新训练后的网络模型；其中，n为设定的正整数；通过所述网络模型推理加速模块与并行环境推演模块的交互，并通过设定的预处理方式，获得训练数据；通过所述网络模型推理加速模块与并行环境推演模块的交互，并通过设定的预处理方式，获得训练数据的步骤包括：通过n个智能体副本与n个环境副本一对一的交互，获得n个环境副本在t时刻的环境状态s1，s2，...，sn，以及n个智能体副本当前包含的网络模型各自根据相应环境状态产生的决策信息a1，a2，...，an；其中，si表示第i个环境副本在t时刻的环境状态，ai表示第i个智能体副本当前包含的网络模型产生的决策信息，i＝1，2，...，n；所述环境状态包括：应用场景的图像中呈现出的各个物体的各类状态；决策信息包括：针对应用场景中某个角色的动作指令；将所述决策信息a1，a2，...，an返回给相应的环境副本，并通过交互，获得n个环境副本t+1时刻的环境状态s′1，s′2，...，s′n奖励；其中，s′i表示第i个环境副本在t+1时刻的环境状态；重复多次交互后通过设定的预处理方式对环境状态，或者对环境状态、决策信息与奖励进行处理，获得训练数据。

全文数据：

权利要求：

百度查询： 中国科学技术大学 基于分布式设计的大规模强化学习训练框架系统