西安电子科技大学何立火获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉西安电子科技大学申请的专利一种基于时空域信息交互的视频时刻检索方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116340570B 。
龙图腾网通过国家知识产权局官网在2025-07-25发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310292407.5,技术领域涉及:G06F16/78;该发明授权一种基于时空域信息交互的视频时刻检索方法是由何立火;施雯彬;邓夏迪;张卓远;王威力;高新波;路文设计研发完成,并于2023-03-23向国家知识产权局提交的专利申请。
本一种基于时空域信息交互的视频时刻检索方法在说明书摘要公布了:本发明公开了一种基于时空域信息交互的视频时刻检索方法,包括以下步骤;获取原始的视频集和查询语句集;构建视频特征预提取模块;构建文本特征预提取模块,得到文本特征;利用视频特征进行多尺度变换,生成多尺度视频特征;利用文本特征进行多尺度的特征提取,生成多尺度文本特征;构建多尺度特征交互模块,生成多尺度交互特征;构建时空域信息融合模块,得到时空域信息特征:构建时刻定位模块,得到最终的起始时间和结束时间:对基于时空域信息交互的视频时刻检索模型进行训练;使用训练完成的基于时空域信息交互的视频时刻检索模型对测试集中的视频和文本对进行实验。本发明能够达到提高视频时刻检索的准确性。
本发明授权一种基于时空域信息交互的视频时刻检索方法在权利要求书中公布了:1.一种基于时空域信息交互的视频时刻检索方法,其特征在于,包括以下步骤; 步骤1,获取原始的视频集和查询语句集,构建训练数据集和测试数据集;数据集中包含着视频和查询语句对; 步骤2,构建视频特征预提取模块,使用预训练网络对训练数据集的原始视频V进行特征预提取,得到视频特征F; 步骤3,构建文本特征预提取模块,使用预训练词嵌入模型将查询语句的训练数据集S映射到嵌入空间中,完成特征提取,得到文本特征Q; 步骤4,利用步骤2中的视频特征F进行多尺度变换,生成多尺度视频特征; 步骤5,利用步骤3中的文本特征Q进行多尺度的特征提取,生成多尺度文本特征 步骤6,构建多尺度特征交互模块,使用不同尺度层级的视频与文本特征在融合阶段进行交互,生成多尺度交互特征Fp; 步骤7,构建时空域信息融合模块,将多尺度交互特征Fi p与多尺度文本特征进行结合,得到时空域信息特征 步骤8,构建时刻定位模块,对步骤7得到的时空域信息特征进行预处理,然后对特征进行分析和提取,得到最终的起始时间ts和结束时间te; 步骤9,采用Adam优化器对基于时空域信息交互的视频时刻检索模型进行训练,并定义了基于KL散度的损失函数来指导模型训练; 步骤10,使用训练完成的基于时空域信息交互的视频时刻检索模型对测试集中的视频和文本对进行实验,以验证基于时空域信息交互的视频时刻检索方法的有效性; 所述方法通过一种基于时空域信息交互的视频时刻检索系统实现,系统包括特征预提取模块、多尺度特征交互模块、时空域信息融合模块和时刻定位模块; 所述特征预提取模块用于提取视频特征和文本特征; 所述多尺度特征交互模块用于所述视频特征和文本特征的多尺度提取与融合,生成包含不同尺度下的视觉信息和不同层级的文本信息的多尺度交互特征;所述时空域信息融合模块用于多尺度交互特征与文本特征在时空域的信息融合,生成时空域信息特征,深度编码视频在时间和空间维度上的多种信息; 所述时刻定位模块用于得到最终的定位结果,完成跨模态视频时刻检索。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人西安电子科技大学,其通讯地址为:710071 陕西省西安市雁塔区太白南路2号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。