龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：合肥工业大学
摘要：本发明公开了一种基于因果引导视觉注意力表征视觉问答方法、介质及设备，涉及人工智能领域，基于因果引导视觉注意力表征视觉问答方法，其步骤主要包括：利用FastR‑CNN、GloVe+LSTM对数据进行预处理，再利用因果结构学习算法得到视觉对象因果关系图，然后利用马尔可夫判别器，区分主体特征因果关系图和支撑特征因果关系图，再利用自注意力机制和交叉注意力机制及其组成的协同注意力网络得到各自特征跨模态表示，将其进行融合得到最终多模态特征表示，最后利用训练好的分类器，得到问题答案。实施本发明提供的基于因果引导视觉注意力表征视觉问答方法、介质及设备，能提升跨模态表征质量、提高回答问题的准确性。
主权项：1.一种基于因果引导视觉注意力表征视觉问答方法，其特征在于，包括以下步骤：S1：对原始图片数据和问题文本数据进行预处理，得到视觉对象特征向量和问题文本特征向量；S2：根据所述视觉对象特征向量，利用因果结构学习算法，得到视觉对象因果关系图；S3：根据所述视觉对象因果关系图，利用马尔可夫判别器，得到主体特征因果关系图和支撑特征因果关系图；S4：根据所述主体特征因果关系图、所述支撑特征因果关系图和所述视觉对象特征向量，利用自注意力机制，得到视觉主体对象特征和视觉支撑对象特征；S5：根据所述视觉主体对象特征、所述视觉支撑对象特征和所述问题文本特征向量，利用交叉注意力机制，得到视觉主体对象特征跨模态表示和视觉支撑对象特征跨模态表示；S6：根据所述视觉主体对象特征跨模态表示、所述视觉支撑对象特征跨模态表示和所述问题文本特征向量，利用协同注意力网络层和全连通层，得到视觉主体特征最终跨模态表示、视觉支撑特征最终跨模态表示和问题文本最终注意力特征表示；S7：将所述视觉主体特征最终跨模态表示、所述视觉支撑特征最终跨模态表示和所述问题文本最终注意力特征表示进行融合，得到最终多模态特征表示；S8：根据所述最终多模态特征表示，利用训练好的分类器，得到问题答案。
全文数据：
权利要求：
百度查询： 合肥工业大学 基于因果引导视觉注意力表征视觉问答方法、介质及设备
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号