买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:中国科学院自动化研究所
摘要:本发明涉及机器学习技术领域,提供一种基于事件感知的跨模态视频文本检索模型的训练方法,方法包括:获取样本视频和初始检索模型,样本视频包含各视频帧的帧描述;提取各视频帧的帧特征和样本视频的视频特征;基于各视频帧的帧特征和各帧描述的帧文本特征进行事件内容对齐确定事件内容感知损失;基于视频特征和样本视频的整体文本特征进行事件时序对齐,确定事件时序感知损失;基于事件内容感知损失和事件时序感知损失,得到跨模态视频文本检索模型。本发明提供的方法,通过进行视频帧粒度的事件内容对齐和视频粒度的事件时序对齐,使得跨模态视频文本检索模型的事件理解能力大大提升,进而提升跨模态视频文本检索能力和鲁棒性。
主权项:1.一种基于事件感知的跨模态视频文本检索模型的训练方法,其特征在于,包括:获取样本视频和初始检索模型,所述样本视频包含各视频帧的帧描述;基于所述初始检索模型提取所述样本视频中各视频帧的帧特征和所述样本视频的视频特征;基于所述初始检索模型,对所述各视频帧的帧特征和各帧描述的帧文本特征进行对比学习,以实现事件内容对齐,确定所述样本视频的事件内容感知损失;基于所述初始检索模型,对所述视频特征和所述样本视频的整体文本特征进行对比学习,以实现事件时序对齐,确定所述样本视频的事件时序感知损失;所述样本视频的整体文本特征是基于所述样本视频的各视频帧的帧文本特征进行采样得到的;基于所述样本视频的事件内容感知损失和所述事件时序感知损失,对所述初始检索模型进行迭代训练,得到跨模态视频文本检索模型;所述事件内容感知损失通过以下公式计算得到: ; ; ;其中,表示第个样本视频第帧视频帧的视觉到文本的事件内容感知损失;表示温度超参数;表示训练批次的大小;表示第个样本视频第帧视频帧的帧特征;表示第个样本视频第帧视频帧对应的帧描述的帧文本特征;表示第个样本视频第帧视频帧对应的帧描述的帧文本特征,其中表示批次内任意样本视频;表示第视频帧;另外,表示第个样本视频第帧视频帧的文本到视觉的事件内容感知损失;表示第个样本视频第帧视频帧的帧特征;表示事件内容感知损失;所述事件时序感知损失通过以下公式计算得到: ; ; ;其中,表示第个合成的样本视频的视觉到文本的事件时序感知损失;表示第个合成的样本视频的视频特征;表示第个样本视频的整体文本特征;表示第个合成的样本视频的整体文本特征;表示第个合成的样本视频的文本到视觉的事件时序感知损失;表示第个合成的样本视频的视频特征;表示事件时序感知损失。
全文数据:
权利要求:
百度查询: 中国科学院自动化研究所 基于事件感知的跨模态视频文本检索模型的训练方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。