买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：山东大学

摘要：本发明涉及视频异常检测技术领域，具体公开了一种基于外观语义和运动幅度的视频异常检测方法及系统，方法包括：获取待测视频帧的目标前景，得到图像编码特征；计算图像编码特征与训练建模的文本提示语义特征的相似度，通过最大相似度计算目标前景的外观异常分数；获取待测视频帧目标前景对应的光流图，将光流图输入训练好的自适应编码器获取编码特征，然后经过二分类器得到目标前景的运动异常分数；将目标前景的外观异常分数和运动异常分数进行加权求和，得到整个视频帧的异常分数，根据所述异常分数判断视频帧是否异常。本发明通过将外观和运动信息结合起来，可以更全面地考虑到可能出现的异常情况。

主权项：1.一种基于外观语义和运动幅度的视频异常检测方法，其特征在于，包括：获取待测视频帧的目标前景，将目标前景输入训练好的图像编码器得到图像编码特征；对图像编码特征进行聚类获取每个目标前景的类别标签，并基于类别的数量设定对应类别数量的文本提示；所述文本提示中包含可学习词嵌入向量，对可学习词嵌入向量进行优化，得到优化后的每个聚类类别的文本提示；其中，对图像编码特征进行聚类获取每个目标前景的类别标签，具体为：对图像编码特征使用DBSCAN聚类方法进行聚类，不同样本间的距离计算采用余弦距离，通过聚类将具有相似语义的前景归为一类，这样通过聚类得到了N个语义类别，且每个前景对应一个语义类别；所述文本提示定义为：Aphotoofaobject；为可学习的词嵌入向量，object根据正常训练数据集所涉及的对象类别来确定，其余为固定的文本；其中，对可学习词嵌入向量进行优化，具体为：前景输入预训练的CLIP图像编码器获取编码特征；前景对应类别的文本提示为，将文本提示中的每个词通过一个词汇表转换为词嵌入向量，将可学习的位置替换为可学习词嵌入向量，得到文本序列；将文本序列输入至文本编码器，得到特征；表示前景所对应类别的语义特征；使用语义相似度损失对齐特征和特征，来优化文本提示中可学习的词嵌入向量；计算目标前景图像编码特征与每个聚类类别的文本提示的相似度，通过最大相似度计算目标前景的外观异常分数；获取待测视频帧目标前景对应的光流图，将光流图输入训练好的自适应编码器E获取编码特征，然后经过二分类器得到目标前景的运动异常分数；将目标前景的外观异常分数和运动异常分数进行加权求和，得到整个视频帧的异常分数，根据所述异常分数判断视频帧是否异常；所述自适应编码器E进行训练时，将训练数据时序相邻的前景帧与之间的光流图作为正常光流；对于正常光流输入图，将其通过自适应编码器E获取编码特征，然后将编码特征输入光流重构解码器来生成重构光流；正常光流的训练损失采用重构光流与真实光流的重构误差；所述自适应编码器E进行训练时，将间隔两帧的前景帧与之间的光流作为异常光流；对于异常光流的输入，通过自适应编码器E和图片生成解码器来生成输入光流对应的RGB图；异常光流的训练损失采用生成的RGB图与其输入光流对应的原始RGB图的像素之间的均方误差。

全文数据：

权利要求：

百度查询： 山东大学 基于外观语义和运动幅度的视频异常检测方法及系统