安徽大学贾兆红获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉安徽大学申请的专利基于多重文本提示的弱监督视频异常检测方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119206563B 。
龙图腾网通过国家知识产权局官网在2025-09-30发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411097071.8,技术领域涉及:G06V20/40;该发明授权基于多重文本提示的弱监督视频异常检测方法是由贾兆红;张子豪;王科设计研发完成,并于2024-08-12向国家知识产权局提交的专利申请。
本基于多重文本提示的弱监督视频异常检测方法在说明书摘要公布了:本发明公开了一种基于多重提示学习的弱监督视频异常检测方法,包括:1将视频数据通过视频特征提取器提取得到原始特征;2将原始特征输入到全局‑局部时间依赖性网络获得时间增强特征;3将标签文本分别通过知识图谱和待学习提示获得两种不同的提示信息;4将两种提示信息与时间增强特征进行跨模态融合;5将时间增强特征通过片段分类器获得片段异常得分,通过设计损失函数来优化网络实现视频的异常检测任务。本发明只利用视频级标签,通过构造自注意力的双分支结构来提取片段的全局和局部时间依赖关系,并通过两种不同方式提取文本提示信息与片段特征进行跨模态融合,补充了视频的异常信息,有效提升了视频异常检测的准确度。
本发明授权基于多重文本提示的弱监督视频异常检测方法在权利要求书中公布了:1.一种基于多重文本提示的弱监督视频异常检测方法,其特征在于,包括以下步骤: S1、获取带有视频级标签y和类别文本标签的一个视频V,且,当y=1时,表示视频V中存在异常事件,当y=0时,表示视频V中不存在异常事件; 将视频V划分为时间上不重叠的T个片段,其中,表示第t个视频片段,T为视频片段的数量; 利用CLIP模型的图像编码器获取的CLIP特征,得到视频片段的初始特征集,其中,表示第t视频片段的CLIP特征,D表示片段特征的维度; S2、构建异常检测网络,包括:全局‑局部时间依赖性网络,多重文本提示网络,跨模态融合网络; 其中,所述全局‑局部时间依赖性网络由自注意力分支和片段注意力分支组成; 所述多重文本提示网络由知识图谱提取模块、可学习提示模块和CLIP模型的文本编码器组成; 所述跨模态融合网络由余弦相似度计算模块,平均池化层和片段聚合模块组成; S21、将输入异常检测网络中,并通过全局‑局部时间依赖性网络中的自注意力分支的处理后,获得各视频片段间的全局时间依赖特征向量; 同时,通过片段注意力分支的自适应局部掩码和投影处理后,获得自适应局部时间依赖特征向量; 将与进行自适应融合后,得到时间增强后的片段特征集,其中,代表第t帧增强后的片段特征; 由时间增强后的片段特征的异常得分与视频级标签y构建分类损失; S22、将类别文本标签输入到多重文本提示网络中,并经过知识图谱提取模块的处理后,得到与相近的概念作为补充提示; 将待学习的文本提示向量作为前缀与结合后,与补充提示分别输入到CLIP模型的文本编码器中进行处理,分别获得待学习的提示特征向量和概念提示向量; S23、将和输入到跨模态融合网络中,计算和之间的余弦相似度,得到视觉‑文本相似度矩阵,再对依次进行Softmax操作和平均池化后,得到片段的显著性分数矩阵; 由和聚合后,得到概念提示增强后的视频特征向量; 由和构建对称交叉熵损失; S3、利用式1构建总体损失函数: 1式1中,和是超参数;是跨模态对比损失;S4、利用梯度下降法对所述异常检测网络进行训练,并计算所述总体损失函数以更新网络参数,直至总损失函数收敛或达到最大训练次数为止,从而得到训练后的最优异常检测模型; S5、将测试视频输入至训练后的最优异常检测模型中进行处理,输出每个片段的异常得分;当某一片段的异常得分高于预设的阈值时,表示相应片段中存在异常事件。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人安徽大学,其通讯地址为:230601 安徽省合肥市经济技术开发区九龙路111号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。