买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:北方工业大学
摘要:本发明公开了一种知识增强的图像描述方法与装置,它是针对图像描述模型的外部知识增强方案,方案中充分利用了预训练文本编码器的优势,构建了知识编码器,通过从外部知识库中检索出的辅助知识序列来增强模型在域外数据集上生成描述的质量,可以提高在域外数据集上的图像描述质量,从而解决域迁移导致大量训练成本、图像描述任务性能不佳的问题。
主权项:1.一种知识增强的图像描述方法,其特征在于,包括:构建包含图像编码器、知识编码器与文本解码器的图像描述模型;结合所述图像编码器构建外部知识库;将图像输入至所述图像描述模型中,通过图像编码器提取图像特征,并使用所述图像特征在外部知识库中检索出辅助知识序列,通过所述知识编码器对辅助知识序列进行编码,获得文本特征,利用所述文本特征对所述图像特征进行增强,获得外部知识增强的图像特征;通过文本解码器结合所述外部知识增强的图像特征生成图像对应的文本描述。
全文数据:
权利要求:
百度查询: 北方工业大学 一种知识增强的图像描述方法与装置
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。