买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:江西财经大学
摘要:本发明提出一种基于动态注意力的视觉语言行人重识别网络方法与系统,该方法包括获取原始图像中的前景特征,并进行分割,并利用分割后的前景特征对原始图像进行前景感知处理,得到前景感知图像,将原始图像和前景感知图像送入图像编码器中,得到全局图像特征,将问题文本和原始图像输入文本编码器,生成文本特征,计算全局图像特征和文本特征的注意力权重,并根据全局图像特征和文本特征之间的重要程度动态分配权重,得到两种模态的注意力加权特征,并进行拼接,得到集成特征。本发明根据全局图像特征和文本特征之间的重要程度动态分配权重,克服图像和文本信息交互过程中权重分配偏倚的问题,使模型能够正确的关注有用的信息。
主权项:1.一种基于动态注意力的视觉语言行人重识别网络方法,其特征在于,所述方法包括如下步骤:步骤1、获取原始图像中的前景特征,对前景特征进行分割,并利用分割后的前景特征对原始图像进行前景感知处理,得到前景感知图像;步骤2、将原始图像和前景感知图像送入图像编码器中,得到原始图像和前景感知图像的全局特征,将原始图像和前景感知图像的全局特征进行拼接,得到全局图像特征;步骤3、将问题文本和原始图像输入文本编码器,文本编码器根据原始图像预测问题文本的答案,并将答案返回问题文本以生成预测文本,再对预测文本进行编码,生成文本特征;步骤4、计算全局图像特征和文本特征的注意力权重,并同时根据全局图像特征和文本特征之间的重要程度动态分配权重,得到两种模态的注意力加权特征,将两种模态的注意力加权特征和全局图像特征拼接,得到包含外表和语义信息的集成特征,将集成特征与行人特征进行匹配,以实现行人识别。
全文数据:
权利要求:
百度查询: 江西财经大学 基于动态注意力的视觉语言行人重识别网络方法与系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。