浙江大学刘勇获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉浙江大学申请的专利一种基于语义级时序关联建模的视频时序动作定位方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115471771B 。
龙图腾网通过国家知识产权局官网在2025-08-01发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202211056608.7,技术领域涉及:G06V20/40;该发明授权一种基于语义级时序关联建模的视频时序动作定位方法是由刘勇;杨煜;王蒙蒙设计研发完成,并于2022-08-31向国家知识产权局提交的专利申请。
本一种基于语义级时序关联建模的视频时序动作定位方法在说明书摘要公布了:本发明涉及计算机视觉领域,公开了一种基于语义级时序关联建模的视频时序动作定位方法,首先,设计了前景掩码生成模块,自适应性地生成前景掩码,前景掩码在后续中用于指引Transformer模块建模与动作帧的语义级关联,掩码引导的Transformer模块利用前景掩码来引导注意力机制学习语义层次的相似性,最后,在一个统一的框架中融合了两个模块,实现一个端到端的时序动作定位深度神经网络。本发明能够充分建模视频帧与动作片段之间的语义级时序关联,捕获动作的特征信息并抑制背景噪声干扰,使得时序动作定位结果具有更好的准确度,能够在复杂的视频中准确地定位动作区间。
本发明授权一种基于语义级时序关联建模的视频时序动作定位方法在权利要求书中公布了:1.一种基于语义级时序关联建模的视频时序动作定位方法,其特征在于,包括以下步骤: S1、利用视频特征提取单元对输入的视频进行片段级特征提取与编码; S2、利用前景掩码生成模块建模视频的全局时序关联,预测生成动作前景的掩码,所述动作前景为动作主体和边界; S3、利用掩码引导Transformer模块中的自注意力机制计算语义级时序关联,提取动作的特征同时抑制背景干扰; S4、利用时序动作定位预测输出模块预测动作完整性图和边界置信度图,用于时序动作提议和评估; S5、对网络模型进行训练,通过降低网络损失函数优化网络参数,直至网络收敛,获得基于语义级关联建模的视频时序动作定位方法; S6、利用所述基于语义级关联建模的视频时序动作定位方法在新的视频序列中定位动作目标; 所述步骤S3具体包括以下步骤: S31、对输入视频特征序列F添加位置编码,进行线性映射将其映射到四个新的特征矩阵分别表示视频的查询特征、值特征、动作开始键特征和动作结束键特征;然后,计算查询特征和两个键特征的余弦相似度,输出动作起始相似度和动作结束相似度 S32、基于前景掩码图,构造掩码操作M·,然后将掩码结果与动作起始相似度SMs、动作结束相似度SMe的Hadamard积,得到掩码引导映射GMs, S33、使用Softmax函数将掩码引导映射进行归一化,然后与值矩阵相乘,从视频的动作片段中捕获语义关联得到动作起始和动作结束增强特征Fs,将所述动作起始和动作结束增强特征拼接起来并使用一个一维卷积层将特征的通道数从2C'降低到C;利用残差连接和前馈神经网络来增强非线性得到边界增强特征利用动作主体前景掩码图得到动作主体增强特征
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人浙江大学,其通讯地址为:310000 浙江省杭州市西湖区余杭塘路866号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。