买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明实施例中提供了一种基于掩码transformer的半监督人群场景异常检测方法，属于数据识别技术领域，具体包括：生成带异常信息的前景图序列；生成人群图像正常事件的潜在特征表示；构造潜在表示优化器，输入带掩码符号的特征图，预测被掩码部分的真实图像，并引入多重掩码预测损失，结合损失值优化改进的transformer前景特征提取器相关参数；采用反卷积构造重建器，并定义正常事件类间的差异约束模块；优化网络参数得到检测模型；利用检测模型对人群图像序列进行判别，输出异常分值，并对异常分值进行阈值判别，筛选出异常图像并输出相关异常数据。通过本发明的方案，在满足实时性检测的需求下，提高了检测准确率。

主权项：1.一种基于掩码transformer的半监督人群场景异常检测方法，其特征在于，包括：步骤1，对输入的人群场景图像提取光流序列，采用目标检测网络定位具备运动前景的区域，并进行冗余信息过滤，生成带异常信息的前景图序列；步骤2，对前景图序列进行均等切分，并以预设比例进行掩码，将未被掩码部分输入到改进的transformer前景特征提取器中进行特征提取，生成人群图像正常事件的潜在特征表示；所述步骤2具体包括：步骤2.1，对于生成的前景图切分成大小相等且不重叠的块，并以适合图像类数据的预设比例进行掩码，将未掩码的部分输入到改进的transformer前景特征提取器中；步骤2.2，利用改进的transformer前景特征提取器对未掩码的部分X＝x1，…xt进行块编码，引入位置信息并进行归一化，然后对X朝三个方向做线性映射，生成三个矩阵Q,K,V,表示为： 步骤2.3，对矩阵Q,K进行平均池化处理后输入Attention层计算注意力；步骤2.4，将Attention层的计算结果输入到前馈网络层中完成一层transformer块的计算；步骤2.5，通过多层transformer块的计算提取前景特征，形成人群图像正常事件的潜在特征表示；步骤3，结合掩码机制，采用transformer块构造潜在表示优化器，输入带掩码符号的特征图，预测被掩码部分的真实图像，并引入多重掩码预测损失，结合损失值优化改进的transformer前景特征提取器相关参数；所述步骤3具体包括：步骤3.1，采用一层tranformer块以及多个卷积构成潜在表示优化器；步骤3.2，将改进的transformer前景特征提取器中除最后一层外每层transformer块得到的特征图与掩码符号按位置顺序排列组合，输入到潜在表示优化器中，通过潜在表示优化器预测被掩码部分的真实图像，并引入多重掩码损失，表示如下： 其中，G表示优化器接收前景特征提取器获得的特征图的次数，Φ表示原始前景图中被掩码区域的真实值，表示优化器第i次接收特征图时，被掩码区域的预测值；步骤4，采用反卷积构造重建器，并定义正常事件类间的差异约束模块；所述步骤4具体包括：步骤4.1，利用反卷积以及多个正常事件类间差异约束模块组成重建器，并利用其接收改进的transformer前景特征提取器最后一层transformer块输出的特征图以及表示优化器预测的前景图作为输入；步骤4.2，更新每个正常事件类间差异约束模块对应的正常模式记忆矩阵M，更新表达式如下：M＝softmaxMPTM其中，P为输入的记忆矩阵M的特征图；步骤4.3，引入约束损失至正常事件类间差异约束模块，约束损失的表达式如下： 其中D表示记忆矩阵M的个数，wi,j表示第i个记忆矩阵中第j个记忆槽的匹配概率；步骤5，采用半监督式训练方式，训练改进的transformer前景特征提取器、潜在表示优化器和重建器，以及结合掩码策略，优化网络参数得到检测模型；所述步骤5具体包括：步骤5.1，采用随机梯度下降算法和不包含异常数据的训练集训练改进的transformer前景特征提取器、潜在表示优化器和重建器；步骤5.2，假设为y输入数据，为重建结果，重建损失定义如下： 步骤5.3，结合多重掩码损失以及约束损失，定义总损失为：L＝λRECONLRECON+λMASKLMASK+λCONLCON其中，λRECON，λMASK，λCON表示相应损失的平衡因子；步骤5.4，根据总损失优化网络参数得到检测模型；步骤6，利用检测模型对人群图像序列进行判别，输出异常分值，并对异常分值进行阈值判别，筛选出异常图像并输出相关异常数据。

全文数据：

权利要求：

百度查询： 湖南工商大学 基于掩码transformer的半监督人群场景异常检测方法