福州大学许煌标获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉福州大学申请的专利一种基于时空对比的影像视频识别分析和评估方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116682044B 。
龙图腾网通过国家知识产权局官网在2025-05-30发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310703244.5,技术领域涉及:G06V20/40;该发明授权一种基于时空对比的影像视频识别分析和评估方法是由许煌标;柯逍设计研发完成,并于2023-06-14向国家知识产权局提交的专利申请。
本一种基于时空对比的影像视频识别分析和评估方法在说明书摘要公布了:本发明涉及一种基于时空对比的影像视频识别分析和评估方法。包括以下步骤:步骤S1、获取相关应用场景的影像视频,对影像中包含的目标框、类别或质量分数进行标注构建数据集;步骤S2、构建基于大数据集预训练的ResNet‑101和Transformer结合的骨干网络,并根据步骤S1构建的数据集训练,提取成对影像视频的时空特征;步骤S3、设计层级感知注意力模块和基于时空对比的差异编码器,对比步骤S2中成对视频的时空特征差异;步骤S4、对单一影像视频的时空特征和成对影像视频之间的差异特征进行识别分析,输出最终的分析和评估结果。
本发明授权一种基于时空对比的影像视频识别分析和评估方法在权利要求书中公布了:1.一种基于时空对比的影像视频识别分析和评估方法,其特征在于,包括如下步骤:S1、获取相关应用场景的影像视频,对影像中包含的目标框、类别或质量分数进行标注构建数据集;S2、构建基于大数据集预训练的ResNet-101和Transformer结合的骨干网络,并根据步骤S1构建的数据集训练提取成对影像视频的时空特征;S3、设计层级感知注意力模块和基于时空对比的差异编码器,对比S2中成对影像视频的时空特征差异;S4、对单一影像视频的时空特征和成对影像视频之间的差异特征进行识别分析,输出最终的分析和评估结果;S2包括以下步骤:S21、对于一个给定的输入查询视频从训练集中随机选取样本视频ε组成视频对T、H和W分别是视频的时序帧数、高和宽;S22、基于大规模场景下的图像数据集ImageNet对ResNet-101网络结构进行预训练,获得具有优秀空间信息提取能力的2D卷积网络模型,之后和Transformer结合组成用于特征提取的骨干网络;S23、使用S22构建的骨干网络对S21的视频对进行特征提取,对于一个视频,首先利用ResNet-101提取视频中每一帧图像所包含的2D空间信息,获得特征fT×C×H×W,C为当前通道维度,之后对fT×C×H×W进行2D正弦余弦位置编码后送入Transformer的编码器,利用Transformer在时序T维度上进行编码,学习视频中的时序信息,获得f'T×C×H×W: V是处理的视频,N、P和E分别是由Θ、φ和参数化的ResNet-101、2D正弦余弦位置编码和Transformer的编码器;S3包括以下步骤:S31、采用2D全局平均池化操作将步骤S2获得的f'T×C×H×W化为fT×c,最终获得包含影像视频的时空信息的全局特征;S32、设计层级感知注意力模块,在多个层级上进一步对全局特征进行多维度的全面增强,对于fT×c,首先在T维度上进行全局注意力,以关注所有时间点的影像信息并提取信息之间的时序关系,具体为对fT×C在T维度进行全连接层和Sigmoid激活函数获得全局注意力权重后与原fT×C进行逐像素相乘获得接着,在C维度上的注意力关注不同通道信息的重要性,以提取通道层级的影像关键信息,具体为对在C维度分别进行全局最大池化和全局平均池化后与相加,送入MLP模块与Sigmoid激活函数获得通道注意力权重后与原进行逐像素相乘获得最后,再次在T维度上进行注意力,以提取细节层面的影像信息,从而深入理解影像视频表达的内在规律和信息分布,具体为对在T维度分别进行全局最大池化和全局平均池化后与进行拼接,通过一个全连接层和Sigmoid激活函数获得时序细节注意力权重后与原进行逐像素相乘获得f'T×C。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人福州大学,其通讯地址为:350108 福建省福州市闽侯县福州大学城乌龙江北大道2号福州大学;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。