买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：山东大学;哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院);浙江大华技术股份有限公司;山东省计算中心(国家超级计算济南中心);哈尔滨工业大学(威海)

摘要：本发明属于视频检索技术领域，提供了一种基于细粒度时空关联建模的视频片段定位方法及系统，其技术方案为：获取视频片段，利用时空查询表示，隐式挖掘视频片段中潜在所有物体信息；随后，基于时空表示多维交互模块，充分建模物体间时空关联关系；之后，通过有机融合局部和全局表示，全面提升视频片段的表示能力；最后，依据视频片段表示与用户查询表示相似性分数确定目标视频片段。本发明克服了现有技术中依赖离线物体检测工具进行物体时空信息提取、物体细粒度交互信息建模不充分等导致视频理解不佳的问题。

主权项：1.一种基于细粒度时空关联建模的视频片段定位方法，其特征在于，包括如下步骤：获取视频数据，对视频进行多尺度时间窗口采样，得到不同时间长度的视频片段，并对视频片段进行帧级编码，得到编码后的视频片段帧表示序列；根据时空查询表示，从视频片段帧表示序列中获取物体时空表示；基于物体时空表示，通过交替执行时序注意力、空间注意力和通道注意力，建模物体时间、空间和语义级别细粒度交互信息，从多个维度增强视频时空交互信息理解能力，得到时-空-通道联合增强的视频片段帧序列表示；提取视频片段的全局表示；将视频的全局表示与时-空-通道联合增强的视频片段帧序列表示进行融合，得到最终的视频片段表示；对用户输入的文本查询语句进行编码，得到查询表示；根据视频片段表示与查询表示的相似度，确定目标视频片段。

全文数据：

权利要求：

百度查询： 山东大学 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 浙江大华技术股份有限公司 山东省计算中心(国家超级计算济南中心) 哈尔滨工业大学(威海) 一种基于细粒度时空关联建模的视频片段定位方法及系统