买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：清华大学

摘要：本公开提出一种基于动态子任务规划的具身学习方法，包括：任务规划大模型基于任务指令、待提升感知模型的性能和机器人捕获的环境信息生成多个子任务并对其优先级排序，确定当前子任务；任务解析大模型将解析子任务内容以指导机器人在环境中导航，利用位姿预测大模型指导机器人采集数据，导航过程中，任务解析大模型根据环境信息动态调整子任务内容；当前子任务完成后，任务规划大模型将动态规划后续子任务；子任务均完成后，使用导航过程中采集的数据集提升感知模型性能。本发明可使机器人采集有利于感知能力提升的新数据或新知识，并通过学习采集到的新数据或新知识来进一步提高机器人对环境的理解。

主权项：1.一种基于动态子任务规划的具身学习方法，其特征在于，包括：S1、基于任务指令使用任务规划大模型生成多个子任务，基于历史子任务信息、待提升感知模型的性能以及机器人捕获的环境信息对所述子任务的优先级进行排序，将优先级排序最高的子任务作为当前子任务；其中，所述任务指令为用户设定的待提升感知模型的语义类别，所述语义类别以物体类别名表征；所述历史子任务信息以历史子任务中各类别物体的采集情况为表征；所述待提升感知模型的性能以使用公开数据集预先训练的语义分割模型在新环境中的语义分割任务的准确率指标为表征；所述环境信息以机器人捕获的第一人称视角观测图像作为表征；S2、构建用于辅助位姿预测大模型评估待提升感知模型性能的知识库，所述知识库包括图像特征知识子库和观测信息知识子库，所述图像特征知识子库存储有机器人捕获的不同物体实例的多张第一人称视角观测图像的图像特征；所述观测信息知识子库存储有不同物体实例的多张第一人称视角观测图像数据，每个物体实例的数据基于感知分数从大到小排序进行存储；S3、利用任务解析大模型将当前子任务解析成若干可执行的高层操作，所述高层操作包括三类：目标房间导航、目标物体导航和目标物体数据采集，并基于当前子任务内容确定当前需要前往的目标房间类型与需要采集数据的目标语义类别集合；S4、机器人基于底层动作规划执行解析的高层操作，首先导航到目标房间，然后依次导航至目标房间内的目标物体，从所述知识库中检索相关上下文作为所述位姿预测大模型的外部知识提示，指导机器人对目标物体进行数据采集；在导航过程中，所述任务解析大模型根据机器人实时采集的环境信息对目标物体的导航顺序进行动态调整，实现当前子任务内容的动态规划；S5、当前子任务完成后将机器人执行该当前子任务时采集到的数据的语义类别作为该当前子任务信息反馈给所述任务规划大模型，所述任务规划大模型将根据反馈的信息、任务指令、待提升感知模型性能以及环境信息，动态规划下一子任务，返回步骤S3，直至子任务均完成；S6、利用导航过程中采集到的数据集提升所述待提升感知模型的感知性能。

全文数据：

权利要求：

百度查询： 清华大学 基于动态子任务规划的具身学习方法、装置及存储介质