南京师范大学陈燚获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉南京师范大学申请的专利基于差分特征增强的多视角中学实验步骤检测方法及系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119478754B 。
龙图腾网通过国家知识产权局官网在2025-04-29发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202410655431.5,技术领域涉及:G06V20/40;该发明授权基于差分特征增强的多视角中学实验步骤检测方法及系统是由陈燚;袁浩淼;章亚宁;周俊生;顾彦慧设计研发完成,并于2024-05-24向国家知识产权局提交的专利申请。
本基于差分特征增强的多视角中学实验步骤检测方法及系统在说明书摘要公布了:本发明公开了一种基于差分特征增强的多视角中学实验步骤检测方法及系统,首先对视频进行预处理,提取原始和差分视频帧片段,通过特征提取器获得视觉时序特征与差分运动特征,输入编码器学习时空依赖关系,并利用交叉注意力机制进行特征融合,最终将融合后的多视角视觉时序特征通过解码器输出分类结果。本专利能够更准确地捕捉实验步骤的变化和动作特征,提高了分类模型的精度和鲁棒性,能够有效解决人工检测中学实验步骤会耗费大量人力资源、已有方法未充分探索时序关系、效率低等问题,提高了检测精度,因此具有较高的应用价值和应用前景。
本发明授权基于差分特征增强的多视角中学实验步骤检测方法及系统在权利要求书中公布了:1.基于差分特征增强的多视角中学实验步骤检测方法,其特征在于,包括如下步骤:S1:输入正面视角和俯视视角多视角的中学实验视频,对两个视角的视频帧进行预处理,以每个视角中每帧作为锚点中心获得16帧一组的视频帧片段,并通过帧差分得到差分视频帧片段;S2:使用视觉大模型VideoMAE对两个视角的视频帧片段进行特征提取,获取不同视角视频帧级别的视觉时序特征与差分运动特征;采用视觉大模型VideoMAE掩码自编码方法,从特征提取器输出的两个视角的视频帧级别的视觉时序特征与差分运动特征图谱进入编码器: 其中,u为特征提取器,T为某个选定的时刻,t为选定时刻T的向前偏移帧数;S3:将步骤S2提取的两个视角视频帧级别的视觉时序特征与差分运动特征输入编码器,利用多头自注意力机制学习时空依赖关系;所述编码器至少包括空间注意力模块和时序注意力模块;所述空间注意力模块:由多头自注意力层构成,包含注意力投影、计算注意力权重、加权求和和多头机制;多头注意力是利用多个查询向量Qi,并行地从输入信息Ki中选取多组信息,计算注意力得分后应用缩放点积和softmax进行归一化约束注意力得分的范围,最后与值Vi加权求和得到输出;对每个空间位置的权重进行建模,利用多头自注意力机制,在同一帧内捕获不同区域之间的依赖关系; 其中,为输入信息,dk为表示输入信息的维度;所述时序注意力模块:由多头自注意力层构成,捕捉视频序列中不同帧之间的时间关系,并强调与任务相关的关键时刻或时段; 其中,FT表示输入的视频序列特征,表示应用多头自注意力后得到的新的特征;S4:经过编码的两个视角视觉时序特征与差分运动特征输入到解码器中进行融合;S41:利用交叉注意力机制分别从两个视角差分特征中查询有用的上下文信息;S42:将融合后的视觉时序特征与差分运动特征进行加权求和;S43:得到最终的融合差分运动特征的视觉时序多视角特征图谱: 其中,编码器的输出特征作为查询,运用多头注意力机制在视角差分特征Sc寻找有用的信息,得到最终的融合特征S5:使用融合差分运动特征的视觉时序特征的多视角特征进行分类,输出视频帧的分类结果。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人南京师范大学,其通讯地址为:210024 江苏省南京市鼓楼区宁海路122号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。