买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京邮电大学

摘要：本发明公开一种面向智能监控系统的暗处暴力行为检测方法包括：提取视频帧数据并对模糊的视频帧进行图像增强得到高质量视频帧，调整原视频帧和高质量视频帧的输入尺寸；采用主干网络对两条路径的帧序列进行时空特征提取，通过多尺度注意力模块提取序列的特征；将时空特征并行传入BERT网络模块，利用多头注意力模块和PFFN网络进行特征融合并提取关键时空特征；经过计算得到模块的行为识别结果并判断视频序列是否存在暴力行为；本发明结合多尺度注意力和特征融合的思想设计网络结构，能获得多尺度的语义信息，将轻量级的低光图像增强技术应用到暗光环境下的暴力行为检测，能够改善阴暗模糊环境下暴力行为识别的困难。

主权项：1.一种面向智能监控系统的暗处暴力行为检测方法，其特征在于，包括：提取视频帧数据并对阴暗模糊的视频帧进行图像增强，得到高质量视频帧，调整原视频帧和所述高质量视频帧的输入尺寸，使所述输入尺寸适配网络模型；采用Zero-DCE方法对所述阴暗模糊的视频帧进行图像增强；利用深度曲线估计网络估计一组最佳拟合的光增强曲线给定输入图像，通过迭代应用曲线映射出输入RGB通道的所有像素来获得最终的增强暴力行为图像；设计一条二次曲线将阴暗图像自动映射到增强图像，所述曲线的参数完全依赖于输入图像；将由所述原视频帧和所述高质量视频帧构成的数据集以4∶1的比例划分为训练集和测试集，随机选取每个视频的32帧图像作为一个视频序列；在训练过程中，将所述视频序列中的每帧图像随机裁剪为112×112的图像，以50％的概率对所述每帧图像进行水平翻转操作，将翻转后图像作为网络模型的输入；在测试过程中，从每帧图像中心位置裁剪出尺寸大小为112×112的图像作为网络模型的输入；采用主干网络分别对Dark路径和Light路径的帧序列进行时空特征提取，通过多尺度注意力模块提取视频序列的多尺度特征；所述Dark路径包括阴暗环境下暴力行为视频的视频帧序列，表示为，IDark∈R3×T×H×W其中，3表示RGB通道数，T表示视频帧数，H表示视频帧的高，W表示视频帧的宽；所述Light路径包括经过Zero-DCE低光图像增强的视频帧序列，表示为，ILight∈R3×T×H×W所述主干网络包括以50层残差网络为基础改进的多尺度残差网络；所述改进的多尺度残差网络包括保留所述50层残差网络的C1、C2、C3、C4层，所述C1层为第一个卷积块的输出特征图，所述C2层为第一组多尺度残差块的输出特征图，所述C3层为第二组多尺度残差块的输出特征图，所述C4层为第三组多尺度残差块的输出特征图；采用所述主干网络分别对所述Dark路径和Light路径的帧序列进行时空特征提取，主干网络的基本模块包括以50层残差网络为基础改进的多尺度残差网络，与残差网络Resnet50相比将Resnet50模块中3×3的卷积层改进为多尺度注意力模块PSA；所述多尺度特征的提取包括，切分特征通道，对每组通道特征图上的空间信息进行多尺度特征提取，将提取的特征信息融合得到多尺度特征；所述多尺度特征的计算包括，Fi＝Conv1×Ki×Ki,GiXi,i＝0,1,…,S-1F＝CatF0,F1,…,FS-1其中，Fi表示卷积提取到的特征图，Conv表示三维卷积操作，Ki表示卷积核的尺寸，Gi表示Group大小，Xi表示通道切分后的特征图，S表示通道切分的组数，F表示特征图拼接得到的多尺度特征图，Cat表示特征图拼接；利用SEWeight模块提取不同尺度特征图的通道注意力，得到不同尺度的通道注意力向量；所述通道注意力向量的计算包括，Zi＝SEWeightFi,i＝0,1,2,…,S-1其中，Zi表示每组特征图的注意力权重，SEWeight表示通道注意力机制；通过Softmax函数对多尺度通道注意力向量进行特征重新标定，得到多尺度通道交互后的注意力权重；所述注意力权重atti的计算包括， 对所述注意力权重和所述特征图按元素进行点乘操作，输出一个多尺度特征信息注意力加权后的特征图；所述加权后的特征图Yi的计算包括，Yi＝Fi⊙atti,i＝1,2,…,S-1将所述时空特征并行传入BERT网络模块，利用多头注意力模块和PFFN网络进行特征融合并进一步提取关键时空特征；关键时空特征的提取包括，将所述时空特征并行传入BERT网络模块，利用多头注意力模块和PFFN网络进行特征融合并进一步提取所述关键时空特征；所述BERT网络模块的计算包括， 其中，ycls表示暴力行为识别相应的分类向量，PFFN·表示相同作用于所有位置的位置前馈网络，Nx表示标准化项，g·表示BERT自注意机制内的线性投影，xj表示由提取的时间视觉信息及其位置编码组成的嵌入向量，xcls表示进行位置编码时附加的分类，j表示所有可能的组合；经过计算获取所述BERT网络模块的最终暴力行为识别结果，根据所述最终暴力行为识别结果判断视频序列是否存在暴力行为；最终暴力行为识别结果的获取包括，最终暴力行为识别结果由BERT模块的结果经过全连接层FC和argmax函数计算得到，所述最终暴力行为识别结果Result的计算包括，Result＝argmaxFCycls利用二分类交叉熵函数作为损失函数对所述网络模型进行训练；所述二分类交叉熵函数L的计算包括， 其中，N表示样本数量，yi表示样本i的标签，pi表示样本i预测为正类的概率。

全文数据：

权利要求：

百度查询： 南京邮电大学 一种面向智能监控系统的暗处暴力行为检测方法