买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉复旦大学申请的专利基于时空语义分解的视频片段定位系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115309939B 。

龙图腾网通过国家知识产权局官网在2025-11-28发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210869465.5，技术领域涉及：G06F16/73；该发明授权基于时空语义分解的视频片段定位系统是由张玥杰;许元武设计研发完成，并于2022-07-22向国家知识产权局提交的专利申请。

本基于时空语义分解的视频片段定位系统在说明书摘要公布了：本发明属于多模态检索技术领域，具体为基于时空语义分解的视频片段定位系统。本发明系统包括视频和文本的编码器模块、时空语义分解模块、多模态注意力模块、片段边界定位模块；视频和文本的编码器模块分别对视频和文本进行特征提取，生成含有上下文信息的特征；时空语义分解模块将文本按照词性分为空间词和时间词，将视频以不同的帧率采样得到快视频流和慢视频流；多模态注意力模块先计算空间词和慢视频流的互注意力，将结果和快视频流融合，然后再计算时间词和快视频流的互注意力，得到两种模态的融合特征；片段边界定位模块先计算目标片段终点的帧，然后在预测的终点帧之前的帧中回归起点帧。本发明可提高对相似查询的区分能力，提升系统性能。

本发明授权基于时空语义分解的视频片段定位系统在权利要求书中公布了：1.基于时空语义分解的视频片段定位系统，其特征在于，包括视频和文本的编码器模块、时空语义分解模块、多模态注意力模块、及片段边界定位模块；所述视频和文本的编码器模块分别对视频和文本进行特征提取，生成含有上下文信息的特征；所述时空语义分解模块将文本按照词性分为空间词和时间词，将视频以不同的帧率采样得到快视频流和慢视频流；所述多模态注意力模块先计算空间词和慢视频流的互注意力，将结果和快视频流融合，然后再计算时间词和快视频流的互注意力，得到两种模态的融合特征；所述片段边界定位模块先计算目标片段终点的帧，然后在预测的终点帧之前的帧中回归起点帧； 所述多模态注意力模块用于计算慢视频流和空间词的多模态注意力，作为快视频流和时间词的多模态注意力的先验； 先计算两个模态之间多头注意力，其过程表示为： MultiHeadX,Y＝[Attention1…hX,Y]WO，#4 其中，WQ，WK，WV和WO为可学习的线性变换参数；h表示多头注意力使用的头数；X表示视频模态的特征，Y表示文本模态的特征；d表示特征的维度；σ表示softmax函数；计算慢视频流和空间词的多模态注意力的过程表示为： 其中，Qs表示空间词；表示慢视频流在第l层多模态注意力的计算结果；MultiHead表示多头注意力机制；LN表示层归一化；MLP表示两层的感知机；经过和空间词的多模态注意力计算后，慢视频流中每一帧和文本中对应的空间语义得到更多关注；为将慢视频流和空间词的多模态注意力计算结果作为时间维度上定位的先验知识，使用归一化后的慢视频流在最后一层多模态注意力中的注意力图，计算方法为： 其中，Ns表示空间词的个数；A是慢视频流和空间词在最后一层多模态注意力的注意力图；Ai表示多头注意力中第i个头中的二维注意力图，维度为Tslow×Ns；表示多头注意力中第i个头中二维注意力图的第j列；minmax表示最小值-最大值归一化；归一化后的注意力图a中每一帧对应的值大小反映这一帧在与空间词的多模态注意力中的受注意程度，值越高则这一帧中出现文本中描述的物体、场景空间语义越多；将最后一层多模态注意力输出的慢视频流的特征和快视频流Vfast相加，同时将归一化后的注意力图a与快视频流Vfast相乘；该过程表示为： 其中，upsample表示上采样操作；⊙表示逐元素乘；1T表示元素都为1的向量；由于慢视频流的帧数和快视频流不匹配，在融合之前使用线性插值法将慢视频流上采样到Tfast帧；在融合慢视频流的特征及注意力图a后，计算快视频流Vfast,fused和时间词的多模态注意力，得到最终融合视频和文本时空语义的特征Vst，其维度为T×d； 所述片段边界定位模块，先根据建模的片段终点边缘分布P预测片段的终点该过程表示为： 其中，终点边缘分布P使用一个两层的感知机建模；该感知机独立作用在融合特征Vst的每个位置上，对所有位置上的输出使用softmax归一化得到概率分布P； 所述片段边界定位模块还包括一个建模起点的条件期望的回归器，对于第i帧回归归一化的起点帧的期望E[start|end＝i]，预测起点时输出回归的期望和终点的积；该过程表示为： 其中，条件期望E[start|end＝i]的回归器为一个两层的感知机，该感知机独立作用在融合特征Vst的每个位置上，并经过sigmoid激活函数，输出归一化的起点帧。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人复旦大学，其通讯地址为：200433 上海市杨浦区邯郸路220号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。