买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:湖北本地人科技有限公司
摘要:本发明公开了一种用于计算机视觉语言对齐的指代表达式理解方法及其系统,包括:通过语言解析器对计算机输入的语言表达式进行分析,生成文本特征;利用基于表达式引导的选择过滤模块,自适应地从视觉对象的特征图中选择与所述语言表达式相关的视觉特征;基于所述文本特征和所述视觉特征,构建多模态注意力图;执行以名词为导向的多步推理策略,以实现图的推理和目标对象匹配。本发明通过基于表达引导的选择性过滤模块,选择个体对象的相关视觉特征,并与表达式表示一起用于图构建,通过名词导向推理策略有效地减少了表达式中功能词的负面影响,从而提高了文本到对象匹配的准确度。
主权项:1.一种用于计算机视觉语言对齐的指代表达式理解方法,其特征在于,包括以下步骤:通过语言解析器对计算机输入的语言表达式进行分析,生成文本特征;利用基于表达式引导的选择过滤模块,自适应地从视觉对象的特征图中选择与所述语言表达式相关的视觉特征;基于所述文本特征和所述视觉特征,构建多模态注意力图;执行以名词为导向的多步推理策略,以实现图的推理和目标对象匹配。
全文数据:
权利要求:
百度查询: 湖北本地人科技有限公司 一种用于计算机视觉语言对齐的指代表达式理解方法及其系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。