买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国民用航空飞行学院

申请日：2020-12-29

公开（公告）日：2022-06-07

公开（公告）号：CN112699785B

专利技术分类：.动作或行为，例如 手势识别（面部表情识别 G06V40/16）[2022.01]

专利摘要：本发明公开了基于维度情感模型的群体情感识别与异常情感检测方法，涉及智能情感识别技术领域，基于认知心理学PAD三维情感模型，通过数据搜集和人工标注，创建群体情感的视频数据集，揭示了六种典型情感在PAD空间中的位置关系；创建基于群体行为的情感预测模型，将群体运动特征映射为PAD空间中的三维坐标；构建异常情感分类器，当检测到愤怒和恐惧这两种异常情感，则判定场景产生了异常状态。针对群体运动视频，本申请既能够准确表达群体情感的连续变化状态，还可以实现对全局异常状态的有效识别。

专利权项：1.基于维度情感模型的群体情感识别与异常情感检测方法，其特征在于，包括以下步骤：S1：建立基于群体情感的PAD三维情感模型：包括愉悦度P、激活度A和优势度D三个维度，每个维度的取值均处于-1到+1之间，设置PAD情绪量表进行情绪维度的参考；S2：建立群体行为和群体情感数据集：针对不同场景的视频数据，基于认知心理学原理，通过人工标注的策略，获取标准视频数据集；S3：统计群体情感数据集：根据标准视频数据集，定义视频的情感类型，被标记为同一类情感的视频，将其PAD值归一化到[-1，1]之间，通过计算各个坐标的中心点，确定该类情感在PAD空间中的取值；S4：评价群体情感数据集：检验标注数据是否具有一致性，采用Normplot函数验证分析标注数据是否服从高斯分布，若不服从则输出图像出现弯曲；S5：群体情感识别与异常情感检测：从视频中提取群体运动特征，群体运动中层语义的表达；其中，所述提取群体运动特征包括前景区域的提取、光流特征的提取、轨迹特征的提取和运动特征的图形化表达；所述前景区域的提取采用改进的ViBE+算法，经检测，第t帧的前景区域表示为Rt；所述光流特征的提取采用GunnerFarneback的稠密光流场进行视觉表达，对于第t帧图像，像素点x，y在横向和纵向的光流偏移量分别为u和v；所述轨迹特征的提取采用了iDT算法，对视频像素点进行密集采集，并通过光流判断跟踪点在下一帧的位置，从而形成跟踪轨迹，表示为Tp1，p2…pL，其中L≤15；所述运动特征的图形化表达采用全局运动强度图、全局运动方向图和全局运动轨迹图三种图形化的特征表达形式；全局运动轨迹图中的每条轨迹均以实线表示，每条轨迹包括三个属性特征Tp1，p2…pL，L，gi；其中，Tp1，p2…pL表示构成轨迹的若干跟踪点pi的坐标位置，L表示轨迹的长度，g∈[0，255]表示轨迹中第i段的灰度值，gi表示如下： 其中，i∈[1，L-1]；所述步骤S5群体运动中层语义的表达采用灰度共生矩阵进行深入分析，采用的统计量包括方差、对比度、二阶矩、熵、相关性和倒数差分矩；所述方差用于反映图像的灰度变化程度，当方差越大时，图像的灰度变化越大，方差的计算公式如下： 其中，所述对比度用于度量矩阵的值分布和图像中局部的变化量，用于反映图像的清晰度和纹理的深浅，对比度的计算公式如下： 所述二阶矩用于度量图像纹理的灰度变化稳定程度，反映图像灰度分布均匀程度和纹理粗细度，二阶矩值较大则表明处于较均一和规则变化的纹理模式，二阶矩的计算公式如下： 所述熵用于度量图像包含信息量的随机性，反映图像灰度分布的复杂程度，熵的计算公式如下： 所述相关性用于是度量空间灰度共生矩阵元素在行或列方向上的相似程度，反映图像纹理的一致性，相关性的计算公式如下： 所述倒数差分矩用于反映图像纹理的同质性，度量图像纹理局部变化的多少，其值大则说明图像纹理的不同区域间缺少变化，局部均匀，倒数差分矩的计算公式如下： S6：群体情感特征的提取、回归：采用支持向量回归机SVR，在训练数据集的支持下，通过寻找最优超平面，在约束其结构化风险最小化的基础上，获得回归函数；所述回归函数如下所示： 其中，ω为权重向量，C为平衡系数，ξi为松弛变量，为将数据映射到高维空间的非线性变换，b为偏置项，ε为敏感度；引入拉格朗日乘子，式10转换为： 其中，0≤ai≤C，0≤ai≤C；最终求得的回归函数为： 其中，kx，xi为核函数；采用径向基核函数RBF，表达式如下：kxi，xj＝exp-||xi-xj||22σ213通过训练后得到回归模型，实现维度情感预测，对每段视频在PAD空间中的连续值进行预测，当群体情感随时间发生变化，则表现为连续的三维轨迹，以呈现渐变的情感过程；S7：异常情感状态的检测：将每个标记样本的PAD值作为输入，通过支持向量机SVM进行训练。

百度查询： 中国民用航空飞行学院 基于维度情感模型的群体情感识别与异常情感检测方法