买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国科学院自动化研究所

摘要：本发明涉及视频检索技术领域，提供一种跨模态视频检索方法、装置及电子设备，方法包括：提取查询文本的隐式特征和词表特征；基于特征提取模型，得到各候选视频的隐式特征和各候选视频的词表特征；基于查询文本的隐式特征与各候选视频的隐式特征之间的相似度以及查询文本的词表特征与各候选视频的词表特征之间的相似度，确定查询文本对应的检索视频；特征提取模型的词表特征训练阶段以最小化样本视频的词表特征与样本描述文本的词表特征之间的差异为训练目标，联合训练阶段以样本视频的隐式特征与样本描述文本的隐式特征之间的相似度作为软标签，最小化学生预测结果与软标签之间的差异为训练目标。本发明能够提高跨模态视频检索能力。

主权项：1.一种跨模态视频检索方法，其特征在于，包括：提取查询文本的隐式特征和词表特征；将各候选视频以及各候选视频的描述文本输入至特征提取模型，得到所述特征提取模型输出的各候选视频的隐式特征和各候选视频的词表特征；基于所述查询文本的隐式特征与各候选视频的隐式特征之间的相似度，以及所述查询文本的词表特征与各候选视频的词表特征之间的相似度，从各候选视频中确定所述查询文本对应的检索视频；所述特征提取模型基于样本视频以及所述样本视频的样本描述文本训练得到，所述特征提取模型的训练阶段包括词表特征训练阶段以及联合训练阶段，所述词表特征训练阶段以最小化所述样本视频的词表特征与所述样本描述文本的词表特征之间的差异为训练目标，所述联合训练阶段以所述样本视频的隐式特征与所述样本描述文本的隐式特征之间的相似度作为软标签，最小化学生预测结果与所述软标签之间的差异为训练目标，所述学生预测结果指所述样本视频的词表特征与所述样本描述文本的词表特征之间的相似度；所述特征提取模型是对初始模型进行参数迭代后得到的，所述初始模型包括基础视频编码器、基础文本编码器以及词表映射模块；所述词表特征训练阶段包括如下训练步骤：基于所述基础视频编码器，从所述样本视频中提取样本视频基础特征；基于所述基础文本编码器，从所述样本描述文本中提取样本文本基础特征；基于所述词表映射模块，分别将所述样本视频基础特征以及所述样本文本基础特征映射至词表空间，得到所述样本视频的词表特征以及所述样本描述文本的词表特征；以最小化所述样本视频的词表特征与所述样本描述文本的词表特征之间的差异为训练目标，进行所述词表特征训练阶段的参数迭代。

全文数据：

权利要求：

百度查询： 中国科学院自动化研究所 跨模态视频检索方法、装置及电子设备