买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：清华大学

申请日：2024-06-20

公开（公告）日：2024-10-11

公开（公告）号：CN118377848B

专利技术分类：..查询[2019.01]

专利摘要：本公开涉及大语言模型领域，尤其涉及一种大语言模型和强化学习模型的协同方法和装置，确定开放世界的智能体对应的基本信息和所处的环境图像，将基本信息和知识库输入基于预设的需求金字塔训练得到的大语言模型中，在多个候选工具中选中并输出多个具有执行顺序的目标工具，并根据执行顺序最优的目标工具对应的强化学习模型，控制智能体执行相应的事件。其中，事件的执行过程包括以迭代的方式至少一次执行以下步骤：向强化学习模型输入环境图像得到操作指令，在智能体完成操作指令对应的操作后，重新确定智能体所处的环境图像。本公开通过大语言模型和强化学习模型一同实现对智能体的灵活控制，并提高了智能体对事件的处理效率。

专利权项：1.一种大语言模型和强化学习模型的协同方法，其特征在于，所述方法包括：确定开放世界的智能体对应的基本信息和所处的环境图像；将所述基本信息和知识库输入基于预设的需求金字塔训练得到的大语言模型中，在多个候选工具中选中并输出多个具有执行顺序的目标工具，每个所述候选工具均具有对应的事件，所述需求金字塔用于判断不同目标工具对应的需求层次，所述知识库中包括每个所述候选工具对应事件的属性信息；根据执行顺序最优的所述目标工具对应的强化学习模型，控制所述智能体执行所述目标工具对应的事件；其中，所述强化学习模型控制所述智能体执行所述目标工具对应的事件，包括：以迭代的方式至少一次执行以下步骤：向所述强化学习模型输入所述环境图像，输出用于控制所述智能体的操作指令；在所述智能体完成所述操作指令对应的操作后，重新确定所述智能体所处的环境图像；其中，所述将所述基本信息和知识库输入基于预设的需求金字塔训练得到的大语言模型中，在多个候选工具中选中并输出多个具有执行顺序的目标工具，包括：将所述基本信息和知识库输入基于预设的需求金字塔训练得到的大语言模型中，通过所述大语言模型根据所述基本信息判断所述需求金字塔的每一层是否被满足；响应于所述需求金字塔的层被满足，通过所述大语言模型确定所述层不具有对应的目标工具；响应于所述需求金字塔的层未被满足，通过所述大语言模型基于所述基本信息和所述知识库在多个候选工具中选中至少一个所述层对应的目标工具；通过所述大语言模型根据所述基本信息和所述知识库中每个所述目标工具的属性信息，确定每个所述目标工具对应的紧迫性；通过所述大语言模型根据每个所述目标工具对应的紧迫性，以及在所述需求金字塔中对应层的位置，对所述至少一个目标工具进行排序后输出。

百度查询： 清华大学 大语言模型和强化学习模型的协同方法和装置