首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

基于跨模态提示学习的视频问答方法与系统 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

申请/专利权人:湖南大学

摘要:本发明公开了一种基于跨模态提示学习的视频问答方法与系统,本发明方法包括:针对示教视频提取视觉特征和文本特征,利用上下文查询注意力得到对应的跨模态输出特征;根据输出特征,利用视频答案区间高亮模块获取视频答案区间高亮特征并作为预训练的语言模型的视觉提示,通过预训练的语言模型基于文本问题、字幕以及视觉提示预测字幕跨度。本发明以高效准确从给定的未剪辑的示教视频中找到问题匹配的视频答案时间段区间,以视频答案时间段区间从语义上回答指定的文本问题为目标,利用视频答案区间高亮模块增强了预训练语言模型中的文本跨度定位,能显著提高视频分类和视频问答的准确率和效率,且适用于各类视频的分类与视频问答任务。

主权项:1.一种基于跨模态提示学习的视频问答方法,其特征在于包括:1针对被定位的示教视频提取视觉特征V;针对被定位的示教视频的文本问题提取文本特征Q;2根据视觉特征V以及文本特征Q,利用上下文查询注意力得到对应的上下文查询注意输出特征3将被定位的示教视频分为视频答案区间高亮部分和扩展部分,通过预设的视频答案区间高亮模块根据上下文查询注意输出特征以及文本特征Q中的单词特征,计算视频答案区间高亮部分的特征Sh,并对特征Sh进行线性处理得到视频答案区间高亮特征S'h;4采用视频答案区间高亮特征S'h作为预训练的语言模型的视觉提示以使文本特征可捕捉到视觉信息,将视觉提示嵌入所述预训练的语言模型;5通过所述预训练的语言模型基于文本问题、字幕以及视觉提示预测字幕跨度。

全文数据:

权利要求:

百度查询: 湖南大学 基于跨模态提示学习的视频问答方法与系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。