买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：上海蜜度科技股份有限公司

摘要：本申请提供一种检索特征提取方法和装置、视频检索系统、终端及介质，所述方法包括从视频样本中获取多模态特征；将多模态特征按照预设顺序进行连接，得到多模态特征矩阵；将多模态特征矩阵中的不同模态特征进行融合，得到融合后的特征矩阵；对融合后的特征矩阵进行全局平均池化和正则化处理，得到检索特征。本申请能够提取出丰富的多模态特征集合；利用多模态信息的融合机制进行视频检索，能够将多种模态的信息有效地结合在一起，从而更全面地表征视频内容；能够更好地利用不同模态之间的互补性和相关性，从而增强系统的检索能力；不仅能够提高视频检索的效率，同时也能够提高检索结果的质量，从而为用户提供更为准确和全面的视频检索服务。

主权项：1.一种检索特征提取方法，其特征在于，包括：从视频样本中获取多模态特征，所述多模态特征包括视频模态特征、图像模态特征、文字模态特征和音频模态检索特征；将所述多模态特征按照预设顺序进行连接，得到多模态特征矩阵；将所述多模态特征矩阵中的不同模态特征进行融合，得到融合后的特征矩阵；对所述融合后的特征矩阵进行全局平均池化和正则化处理，得到检索特征；从视频样本中获取多模态特征包括：对所述视频样本进行视频帧分割、音频分离和文字转写，分别构建出由Y个视频帧组成的帧集合、由Q个音频段落组成的音频集合以及由M个转写句子构成的文字集合；提取所述视频样本的视频特征，形成视频特征矩阵；提取所述帧集合的图像特征，形成帧特征矩阵；提取所述文字集合的文字特征，形成文字特征矩阵；提取所述音频集合的语音特征，形成第一音频特征矩阵和基于所述第一音频特征矩阵生成的第二音频特征矩阵；对所述视频特征矩阵、所述帧特征矩阵、所述文字特征矩阵和第二音频特征矩阵进行全局平均池化和正则化处理，分别得到所述视频模态特征、所述图像模态特征、所述文字模态特征和所述音频模态检索特征；提取所述音频集合的语音特征，形成第一音频特征矩阵和基于所述第一音频特征矩阵生成的第二音频特征矩阵包括：从所述音频集合中提取Q个音频特征向量，并按照预设规则排列得到所述第一音频特征矩阵；将所述第一音频特征矩阵与所述视频特征矩阵依次进行矩阵乘法和归一化，得到相关性矩阵；将所述相关性矩阵与所述帧特征矩阵进行矩阵乘法，得到权重系数矩阵；将所述权重系数矩阵与所述文字特征矩阵进行矩阵乘法，得到文字比重矩阵；将所述第一音频特征矩阵与所述文字比重矩阵依次进行矩阵乘法和归一化，得到音频比重矩阵；将所述音频比重矩阵与所述第一音频特征矩阵进行矩阵乘法，得到所述第二音频特征矩阵。

全文数据：

权利要求：

百度查询： 上海蜜度科技股份有限公司 检索特征提取方法和装置、视频检索系统、终端及介质