买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：厦门大学

摘要：一种应用于刑侦的微表情与宏表情片段识别方法，步骤一：采集犯罪嫌疑人视频信息；步骤二：将视频数据转换成图像数据，并进行人脸定位；步骤三：将人脸视频序列数据分别进行微表情片段和宏表情片段的发现；步骤四：然后将发现的微表情和宏表情片段进行相应的微表情和宏表情的识别，得出结果。本发明通过对犯罪嫌疑人视频中发现微表情和宏表情片段并对其进行识别，可以帮助更好的捕捉宏微表情序列，消除了时间，光照，和头部移动的对结果的影响，有较高的鲁棒性和泛化能力，提高预测精度。

主权项：1.一种应用于刑侦的微表情与宏表情片段识别方法，所述方法包括：步骤一，借助专业的仪器设备，对犯罪嫌疑人在讯问过程中的面部表情进行录像，将视频数据输入到客户端；步骤二，将视频数据通过逐帧扫描的方法，识别出犯罪嫌疑人的脸部，并找出视频数据中的微表情与宏表情片段，再针对这些微表情与宏表情片段具体进行识别；步骤三，发现视频序列中的宏表情序列；步骤四，发现视频序列中的微表情序列；步骤五，针对找到的宏表情片段，使用神经网络对每一个宏表情片段去识别具体属于哪一个宏表情；步骤六，针对找到的微表情片段，使用神经网络对每一个微表情片段去识别具体属于哪一个微表情；步骤七，将宏微表情片段组和其分类结果返回到客户端界面，为侦讯人员正确把握嫌犯供述的真伪提供了帮助；步骤二具体包括：1读取视频中每帧的图像，将其按顺序输出；2对视频序列中的每一帧进行去噪处理，并根据人类肤色在色彩空间的区域性特点进行人脸对齐，初步确定嫌疑人人脸的区域；3对每一帧图片以第一帧图片为参照点进行TVL1光流法处理，得到光流法的横向和纵向的光流法图片u,v；步骤三具体包括：1先用CK+数据集来训练macroNet神经网络，网络为二分类，判断输入图片是否属于宏表情；2用训练好的网络来预测视频序列中的每一帧是否属于宏表情，绘制出视频序列的每一帧是否属于宏表情的概率曲线；3然后根据概率曲线来判断曲线中的峰值点，并寻找峰值点对应的起始点和结束点，找到视频序列的宏表情序列，返回宏表情片段；发现宏表情片段模块分为对宏表情图像进行训练并且预测和通过概率曲线发现宏表情序列两个步骤，具体步骤包括：1对宏表情图像进行训练并且预测是通过训练macroNet神经网络来判断每一帧属于宏表情的概率，macroNet网络根据已有网络进行改进构建，网络采用光流法的横向纵向光流图和当前帧的图像作为输入，分为三通道进行训练，对图像是否属于宏表情进行二分类预测：当前帧的图像通道采用三层卷积层的架构，三层卷积层均采用3*3的filter，步长均为1，卷积核大小依次增大，分别为32、64、128，并且在每两层卷积层之间依次连接归一化层和最大池化层以及dropout层，而光流法的图片由于已经做了光流法的特征处理，所以网络对这两个通道只进行一次卷积操作，然后引入了attention机制和residual模块，更好地提取光流法通道中有用的信息；2通过概率曲线发现宏表情序列则是采用峰值检测的方法，通过设定约束条件来寻找概率曲线的峰值点，约束条件为：峰值属于宏表情的概率必须大于0.8，且片段的宽度在100-4000帧之间，每两个峰值的差距大于150帧，然后再根据寻找到的峰值点确定这段序列的起始点和终止点，最终得到该视频序列的宏表情序列；步骤四具体包括：1先用SAMMlongvideo数据集训练ConvLSTM网络，该网络的输入为前k帧图片，来判断当前帧是否属于微表情；2用训练好的网络来预测视频序列中的每一帧是否属于微表情，绘制出视频序列的每一帧是否属于微表情的概率曲线；3然后根据概率曲线来判断曲线中的峰值点，并寻找峰值点对应的起始点和结束点，找到视频序列的微表情序列，返回微表情片段；发现微表情片段模块分为对微表情图像进行训练并且预测和通过概率曲线发现微表情序列两个步骤，具体步骤包括：1对微表情图像进行训练并且预测是通过训练ConvLSTM网络来预测当前帧属于微表情的概率，ConvLSTM网络是使用当前帧前k帧的图片数据，采用时间维度和空间维度两个维度的信息来进行网络的训练，并对视频序列的每一帧进行属于微表情的概率预测：ConvLSTM网络对图片进行时间序列的分析，并提取空间特征，这样得到时空特征，将状态与状态之间的切换换成卷积计算；2通过概率曲线发现微表情序列是采用峰值检测的方法，由于微表情和宏表情在持续时间和动作幅度上的差异，提取峰值点所采取的约束条件也不同，微表情的约束条件为：峰值属于微表情的概率必须大于0.9，且片段的宽度在30-120帧之间，每两个峰值的差距大于50帧，然后同样对每一个峰值点确定起始点和终止点，从而最终得到该视频序列的微表情序列；进一步的，基于步骤二，在单张图像上的人脸识别，首先根据图像上的RGB色彩通道初步判断出人脸的位置，把大致判断出来的人脸变换成M*N的矩阵，再把每个矩阵堆叠成一列的MN维列向量Xi，即把矩阵向量化，计算所有向量的均值向量 N为全部向量的总数，m为均值向量，计算向量的协方差矩阵： 计算协方差矩阵的特征向量u和对应的特征值λ，这些特征向量组成的矩阵就是人脸空间的正交基底，将协方差矩阵的特征值按从大到小排序：λ1λ2λ3…λd…，由大于λd的λi对应的特征向量构成主成分，主成分构成的变换矩阵为U＝u1，u2,…,ud,这样每一幅图像判断出来的大致区域都可以投影到已经训练好的特征脸子空间，通过与各个图像比较识别出人脸,从而进行人脸对齐；然后对人脸对齐后的图片进行TVL1光流法来计算横向和纵向的光流，得到横向和纵向的光流图片u和v，用于发现宏表情片段的输入，TVL1能够描述判别表达式的运动特征，通过执行进一步的推导规则，将光学应变从光流矢量中扩展出来，从两个帧，即每个视频中的第一帧与其余帧，估计的光学流矢量表示为：Oi＝{ux,y,vx,y|x＝1,2,…,X,y＝1,…,Y}其中X*Y代表该帧图片的宽和高，ux,y和vx,y代表横向和纵向的光流。

全文数据：

权利要求：

百度查询： 厦门大学 一种应用于刑侦的微表情与宏表情片段识别方法