买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：山东环球软件股份有限公司

摘要：本发明涉及异常行为识别的技术领域，公开了一种多通道视频流分析的目标异常行为识别方法，所述方法包括：将视频流数据切分为具有目标检测标记的通道帧和光流帧，并进行自注意力权重计算；对通道帧和光流帧分别进行加权编码以及特征提取；对提取到的多通道帧特征向量序列和流特征向量序列进行时序特征表示，得到时序特征向量；构建异常行为识别模型进行异常行为识别。本发明基于多个通道的特征信息以及光流信息提高目标异常行为识别的准确性，基于通道信息的相似性度量结果以及运动光流信息的差异性，计算得到相邻视频帧图像的时序差异，构建得到时序特征向量，基于多通道信息以及多维度信息实现视频流数据中目标的异常行为判别。

主权项：1.一种多通道视频流分析的目标异常行为识别方法，其特征在于，所述方法包括：S1：采集视频流数据并进行目标检测标记，将视频流数据切分为具有目标检测标记的通道帧和光流帧，得到通道帧序列和光流帧序列；S2：对切分得到的通道帧和光流帧进行自注意力权重计算得到通道帧和光流帧的权重值；S3：对切分得到的通道帧和光流帧分别进行加权编码以及特征提取，得到多通道帧特征向量序列和流特征向量序列；S4：对多通道帧特征向量序列和流特征向量序列进行时序特征表示，得到时序特征向量；S5：构建异常行为识别模型接收多通道帧特征向量序列、流特征向量序列以及时序特征向量，并输出异常行为判别结果，若异常行为判别结果显示存在异常行为，则将对应视频流中目标的行为作为目标异常行为识别结果；所述S1步骤中采集视频流数据并进行目标检测标记，包括：采集视频流数据，并对视频流数据中的每帧视频帧图像进行目标检测，得到每帧视频帧图像的目标检测结果，对视频帧图像中检测到目标的像素区域进行标记，并对检测到目标的视频帧图像进行目标检测标记，得到具有目标检测标记的视频帧图像序列；结合视频帧图像的目标检测标记结果，将视频流数据切分为具有目标检测标记的通道帧和光流帧，得到通道帧序列和光流帧序列；所述S1步骤中将视频流数据切分为具有目标检测标记的通道帧和光流帧，包括：将视频流数据切分为具有目标检测标记的通道帧和光流帧，其中视频流数据的切分流程为：S11：从视频流数据中按帧顺序提取具有目标检测标记的视频帧图像序列： ；其中： 表示具有目标检测标记的第n帧视频帧图像，N表示具有目标检测标记的视频帧图像总数；S12：对所提取具有目标检测标记的视频帧图像进行灰度化处理；S13：对所提取具有目标检测标记的视频帧图像进行多颜色通道的颜色值提取；S14：构成视频帧图像在不同通道的通道帧，其中视频帧图像在不同颜色通道的通道帧为： ；其中： 表示视频帧图像在颜色通道的通道帧，依次表示颜色通道以及灰度通道； 表示视频帧图像中像素在颜色通道的颜色值； ，，表示视频帧图像的像素行数，表示视频帧图像的像素列数；S15：基于灰度化处理结果，构成视频帧图像的光流帧，其中视频帧图像的光流帧为： ；其中： 表示视频帧图像对应的光流帧； 表示视频帧图像中像素的光流信息；T表示转置； 表示视频帧图像中像素的梯度值； 表示对角矩阵； 表示以像素为中心的像素区域中，像素的第j个邻域像素的梯度值； 表示视频帧图像中像素的灰度值； 表示第j个邻域像素到像素的欧式距离； 表示以自然常数为底的指数函数； 表示视频帧图像中像素的梯度信息，表示视频帧图像中像素的光流信息，表示视频帧图像中像素的光流变换信息；S16：未检测目标的视频帧图像像素区域所对应的通道帧以及光流帧区域部分进行修改为0的处理，构成视频流数据的通道帧序列M和光流帧序列m： ；其中： 表示视频帧图像在多颜色通道的通道帧；所述S2步骤中对切分得到的通道帧和光流帧进行自注意力权重计算，得到通道帧和光流帧的权重值，包括：对切分得到的通道帧和光流帧进行自注意力权重计算，得到通道帧和光流帧的权重值，其中通道帧以及光流帧的自注意力权重计算公式为： ；其中： 表示调节系数； 表示通道帧的自注意力权重，表示通道帧中不同颜色通道所对应通道帧的自注意力权重； 表示光流帧的自注意力权重； 表示通道帧的方差，表示通道帧的均值； 表示光流帧的方差，表示光流帧的均值；所述S3步骤中对切分得到的通道帧和光流帧分别进行加权编码以及特征提取，包括：基于计算得到的通道帧和光流帧的权重值，对切分得到的通道帧和光流帧分别进行加权编码以及特征提取，构建得到视频流数据的多通道帧特征向量序列和流特征向量序列，其中通道帧以及光流帧的加权编码以及特征提取流程为：分别对通道帧以及光流帧进行加权编码，其中加权编码公式为： ；其中： 表示通道帧的加权编码结果，表示光流帧的加权编码结果； 表示不同颜色通道的通道帧的加权编码结果； 表示通道帧的卷积编码矩阵，表示光流帧的卷积编码矩阵；对加权编码结果进行特征提取，构成视频帧图像的多通道帧特征向量以及流特征向量，其中特征提取公式为： ；其中： 表示视频帧图像的多通道帧特征向量； 表示视频帧图像的流特征向量；所述S3步骤中构建得到视频流数据的多通道帧特征向量序列和流特征向量序列，包括：所述视频流数据的多通道帧特征向量序列和流特征向量序列为： ；其中： 表示视频流数据的多通道帧特征向量序列； 表示视频流数据的流特征向量序列；所述S4步骤中对多通道帧特征向量序列和流特征向量序列进行时序特征表示，包括：对多通道帧特征向量序列和流特征向量序列进行时序特征表示，得到时序特征向量，其中时序特征表示流程为：S41：计算得到视频帧图像序列中相邻两个视频帧图像之间的时间间隔，则视频帧图像与之间的时间间隔为；S42：计算得到相邻视频帧图像所对应多通道帧特征向量以及流特征向量的时序差异，其中视频帧图像与所对应多通道帧特征向量以及流特征向量的时序差异的计算公式为： ；其中： 表示视频帧图像与所对应多通道帧特征向量以及流特征向量的时序差异； 表示控制参数，将设置为0.1； 表示L1范数；S43：构成时序特征向量： 其中： 表示时序特征向量；所述S5步骤中构建异常行为识别模型接收多通道帧特征向量序列、流特征向量序列以及时序特征向量，并输出异常行为判别结果，包括：构建异常行为识别模型接收多通道帧特征向量序列、流特征向量序列以及时序特征向量，并进行异常行为判别，输出异常行为判别结果，其中异常行为识别模型包括输入层、序列映射层、序列融合层以及识别输出层，基于异常行为识别模型的异常行为判别流程为：S51：输入层接收多通道帧特征向量序列、流特征向量序列以及时序特征向量；S52：序列映射层基于时序特征向量对多通道帧特征向量序列以及流特征向量序列进行映射处理，其中映射处理公式为： ；其中： 分别为多通道帧特征向量序列以及流特征向量序列的映射处理结果； 表示多层感知机，表示正则化层；S53：序列融合层对映射处理后的多通道帧特征向量序列以及流特征向量序列进行融合处理，其中融合处理公式为： ；其中： 表示融合处理结果； 表示哈达玛积；S54：识别输出层利用全连接矩阵对融合处理结果进行卷积映射，得到异常行为的判别概率，若判别概率高于预设阈值，则输出存在异常行为；根据异常行为识别模型输出的异常行为判别结果，若异常行为判别结果显示存在异常行为，则将对应视频流中目标的行为作为目标异常行为识别结果。

全文数据：

权利要求：

百度查询： 山东环球软件股份有限公司 一种多通道视频流分析的目标异常行为识别方法