买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：山东大学;哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院);浙江大华技术股份有限公司;山东省计算中心(国家超级计算济南中心)

摘要：本发明属于视频行为片段检索技术领域。提供了一种基于常识增强的视频行为片段候选集生成方法及系统，获取查询语句和待检索视频的语义特征表示；通过跨模态交互模块对视觉特征语义表示和文本特征语义表示进行交互，融合多模态信息；预测每个视频单元被保留的概率，并依据概率保留高信息有效性的视频单元；通过视觉适配层将保留的视频帧的特征映射到图文预训练大模型的输入空间；通过插入适配层对图文预训练大模型进行微调，并构造指令指示模型完成视频行为片段候选集生成任务。本发明引入图文预训练大模型以利用其中丰富的外部知识提高对视觉内容的理解，同时兼顾了视频行为片段候选集的生成速度和精度。

主权项：1.一种基于常识增强的视频行为片段候选集生成方法，其特征在于，包括以下过程：将待检索视频切分成连续但互不重叠的视频单元，获取查询语句的语义特征表示以及各个视频单元的语义特征表示；将查询语句的语义特征表示映射到跨模态公共语义空间，得到模态对齐的查询语句语义特征表示，将视频单元的语义特征表示映射到跨模态公共语义空间，得到模态对齐的视频单元语义特征表示；将模态对齐的查询语句语义特征表示与模态对齐的视频单元语义特征表示进行交互，得到融合文本信息的视频单元的语义特征表示，用于预测每个视频单元被保留的概率；根据视频单元被保留的概率，对各个视频单元进行排序，并保留前个视频单元，将保留的前个视频单元的融合文本信息的语义特征表示映射到预训练模型的输入空间，与模态对齐的查询语句语义特征表示以及预设指令拼接后作为所述预训练模型的输入，得到视频行为片段候选集。

全文数据：

权利要求：

百度查询： 山东大学 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 浙江大华技术股份有限公司 山东省计算中心(国家超级计算济南中心) 基于常识增强的视频行为片段候选集生成方法及系统