买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国矿业大学

摘要：本发明公开一种基于多元可视图神经网络模型的情绪识别方法，属于计算机情感识别技术领域。采集人体二十二个不同部位的电信号，并记录当前的影片的情感状态，对数据进行预处理形成N组二十二维时间序列，对于每一组数据利用可视图算法将二十二维时间序列转化为二十二张可视图，然后统计每张可视图的度分布情况，生成二十二维度分布序列。构建基于多元可视图的神经网络模型，多元可视图的神经网络模型通过学习不同通道间度分布关系以及原时间序列间时序特征来构成动态图，通过Adam算法来进行调节神经网络模型，模型训练完成后即可用以对输入数据进行情绪识别方法。其能够模拟出不同模态之间的复杂关系，能够有效提高识别准确度。

主权项：1.一种基于多元可视图神经网络模型的情绪识别方法，其特征在于步骤为：S1、让受试者观看不同类型的视频片段，以引起不同类型的情感：包括积极，消极和中性，在相同频率下采集人体各个部位的生理信号并记录当前的情感状态的电信号数据，并在采集的电信号中标注当前的影片的情感类型；电信号数据以时间τ为周期对数据进行分组，从而得到N组二十二维的时间序列以及情感标签；S2、对N组视频片段产生的电信号数据进行预处理，从而形成N组二十二维时间序列，利用可视图算法将将每一组数据的二十二维时间序列转化为二十二张可视图网络，可视图中的每个顶点连出的所有边的数量就是这个顶点的度，得到可视图后统计每张可视图的度分布情况，生成一组二十二维度分布序列；S3、将原时间序列与二十二维度分布序列以及相应的情感状态组成数据集，将数据集分为训练集与测试集；S4、构建基于多元可视图的神经网络模型，利用训练集来训练多元可视图的神经网络模型，然后通过测试集测试多元可视图的神经网络模型的准确率；S5、多元可视图的神经网络模型通过学习不同通道间度分布关系以及原时间序列间时序特征来构成动态图；多元可视图的神经网络模型包括两个并行设置的分支：多元度分布关系网络层Multi-DDRNLayer和时域卷积网络层Time-ConvolutionalLayer；多元度分布关系网络层输入为二十二维度分布序列，包括多个度分布关系网络单元，每个度分布关系网络单元用来学习两个不同维度的度分布序列之间的关系，通过多元度分布关系网络层，获得度分布序列不同维度之间的权重，得到动态图的邻接矩阵；时域卷积网络层的输入为原始时间序列，时域卷积网络层由TCN模型构成，用以提取原时间序列不同维度间的时序特征，构成动态图的节点信息；多元度分布关系网络层和时域卷积网络层的输出分别作为图的边特征和节点特征，多元度分布关系网络层和时域卷积网络的输出共同构成了一张图结构；S6、设置迭代次数和学习率参数，将二十二维度分布序列和原始时间序列分别输入到多元度分布关系网络层和时域卷积网络层中，并将输出进行结合得到动态图信息，然后将动态图输入到图卷积网络中，最后将图卷积网络得到的特征向量输入到全联接层中，进行分类，从而得到预测的情感状态；S7、计算输入数据对应的真实情感状态的目标值与通过此神经网络模型预测情感状态的预测值之间的损失，通过Adam算法对多元可视图的神经网络模型进行梯度下降，从而最小化损失函数，其中损失函数为目标值与预测值之间的均方损失；S8、重复步骤S5-S7完成多元可视图的神经网络模型的训练；S9、将测试集数据输入到多元可视图的神经网络模型中即可预测人类的情感状态，并计算测试集时间序列识别准确率，以此来评估经该多元可视图的神经网络模型的性能；对N组视频片段产生的电信号数据进行预处理过程为：确定尺度因子c，之后利用尺度因子c对时间序列进行粗粒化，每组粗粒化后的时间序列为其中T为时间序列长度，定义每组二十二维时间序列为xt＝{x[1]t,x[2]t,···,x[M]t}，上标M代表维度；通过可视图算法依次将二十二维EEG时间序列转化为二十二张可视图网络,此可视图网络通过邻接矩阵来存储，其中是α层的邻接矩阵；将二十二维时间序列转化为二十二张可视图的可视图算法为：c1将长度为N的一维时间序列其中xi＝xti,i＝1,···,N的每一个采样点作为可视图网络中的一个节点，而两个节点是否能够连接取决于两节点是否满足所给出的可视性准则，可视性准则定义为：对于时间序列中任意两个采样点ta,xa和tc,xc来说，两个时间点ta和tc之间所有的采样点tb,xb满足下列可视化条件，那么ta和tc在网络中就相互可视，即： 若两个节点满足可视性准则，则在可视图中可以连接成边；根据定义，时间序列的两两相邻的时间点一定连接可以成边，整个可视图为无相无权连通网络；c2对于一组二十二维的时间序列其中每一维时间序列都可以根据可视图算法转化为一张可视图网络，因此将二十二维的时间序列构造成具有二十二层的多路可视图用邻接矩阵表示为A＝{A[1],A[2],···,A[M]}，其中是a层的邻接矩阵，i和j表示节点，当且仅当节点i和节点j在第a层连接，否则为0；统计每张可视图的度分布情况，生成一组二十二维的度分布序列，将每组度分布序列定义为yk＝{y[1]k,y[2]k,···,y[M]k}，上标M代表维度，k代表度的个数，y[α]k即表示第α维度为k的个数；将每组的原始时间序列xt与其对应的度分布序列yk以及时间序列相对应的情感状态标签l组合在一起形成数据集Di＝{xt,yk,l}，i＝1,···，N；将数据集D划分为包含Ntrain组时间序列样本的训练集Dtrain和包含Ntest组时间序列样本的测试集Dtest；将训练集Dtrain输入到多元可视图的神经网络模型进行训练的具体步骤为：f1将二十二维度分布序列yk输入到多元度分布关系网络层中，通过此层得到每两个维度间的权重w，组成邻接矩阵f2将二十二维原始时间序列xt输入到TCN层中，通过此层得到时间序列特征节点向量其中s代表时间序列特征维度；f3将邻接矩阵和节点向量输入到图卷积网络中进行特征学习，得到特征向量I；f4将向量I输入到多层感知机中，最后通过激活函数SoftMax得到情绪类别；通过多元度分布关系网络层得到度序列间权重向量I的具体步骤为：f11从一组二十二维的度序列中任取其中两维度分布序列y[α]，y[β]，通过公式MN×N＝y[α]Ty[β]得到矩阵MN×N；f12对矩阵MN×N以固定大小p进行分块，然后对每一块矩阵分别进行二维卷积操作，其中卷积核大小为p×p,线性嵌入每一块卷积后的结果，生成一组一维特征向量v，对分割后的每一块矩阵进行位置编码，并将位置编码嵌入到向量v中生成特征向量vpoc；f13将vpoc输入到Transformer的encoder层中，经过encoder层后得到特征向量f14将特征向量venc依次输入到3层二维卷积层，每个卷积层后都有一个归一化层和非线性激活单元，并且使用残差连接避免因为网络过深导致梯度消失，最后输入到全连接层，得到a，β两维度间的权重wαβ；f15依次从二十二维的度分布序列中取出两维进行步骤f11-f13计算后，得到一组邻接矩阵

全文数据：

权利要求：

百度查询： 中国矿业大学 基于多元可视图神经网络模型的情绪识别方法