买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
摘要:公开了用于使用对比解说词添加神经网络处理多模态输入的方法、系统和设备,包括编码在计算机存储介质上的计算机程序。
主权项:1.一种系统,包括:一个或多个计算机和存储指令的一个或多个存储装置,所述指令在由所述一个或多个计算机执行时使所述一个或多个计算机实现对比解说词添加神经网络,所述神经网络包括:视觉编码器神经网络,所述视觉编码器神经网络被配置为处理包括一个或多个图像的视觉输入以生成所述视觉输入的编码的表示;以及语言模型神经网络,其中所述语言模型神经网络被配置为处理当前文本序列以生成定义要附加到所述当前文本序列的新词元的输出,其中所述当前文本序列在一个或多个输入位置中的每个输入位置处包括相应文本词元,并且其中所述语言模型神经网络包括:初始神经网络层的集合,所述初始神经网络层被配置为处理包括所述当前文本序列中的每个文本词元的输入以生成所述当前文本序列中的所述文本词元中的每个文本词元的相应单模态表示,所述单模态表示独立于所述视觉输入;以及后续神经网络层的集合,所述后续神经网络层被配置为处理包括所述当前文本序列中的所述文本词元的所述相应单模态表示的输入以生成定义要附加到所述当前文本序列的所述新词元的所述输出,其中所述后续神经网络层包括以所述视觉输入的所述编码的表示为条件的一个或多个跨模态层。
全文数据:
权利要求:
百度查询: 谷歌有限责任公司 对比解说词添加神经网络
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。