买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:渊慧科技有限公司
摘要:用于学习控制所嵌入的代理执行任务的系统、方法和计算机程序。该技术在学习时使用内部的“在内代理intra‑agent”语音,并且因此能够执行涉及新对象的任务,而没有与那些对象交互的任何直接经验,即零激发zero‑shot。该技术的实施方式使用图像字幕神经网络系统来生成在训练动作选择神经网络系统时使用的自然语言字幕。
主权项:1.一种训练动作选择神经网络系统以控制代理选择动作以在环境中执行任务的计算机实现的方法,其中,所述动作选择神经网络系统被配置为处理观察的嵌入,以生成用于选择要由所述代理执行的动作的动作选择策略输出和用于生成自然语言输出的语言策略输出,所述观察的嵌入包括所述环境的图像的嵌入和自然语言输入的嵌入;所述方法包括:获得包括多个任务演示序列的多模态演示数据,每个任务演示序列包括演示观察和演示动作的序列,其中所述演示观察包括在演示代理与所述环境交互以执行任务时表征所述环境的状态的图像观察,以及描述所执行的所述任务的至少一个自然语言观察,并且其中所述演示动作表征在所述任务被执行时所述演示代理在所述环境中的动作;使用所述动作选择神经网络系统处理所述演示观察的嵌入,以生成用于所述演示观察的所述动作选择策略输出和所述语言策略输出;以及使用由所述语言策略输出定义的自然语言输出来训练所述动作选择神经网络系统,使得由来自所述动作选择神经网络系统的所述动作选择策略输出定义的动作被鼓励以匹配所述演示代理的动作;其中,训练所述动作选择神经网络系统还包括:使用图像字幕神经网络系统处理所述演示观察的图像观察,以生成图像观察的自然语言字幕;以及使用所述自然语言字幕来训练所述动作选择神经网络系统。
全文数据:
权利要求:
百度查询: 渊慧科技有限公司 在内代理语音以促进任务学习
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。