买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华东交通大学

摘要：本发明公开了一种基于对比学习的视角无关面部表情识别方法及系统，方法包括：采用监督对比损失子函数旨在利用所提出的自监督对比损失来学习与视图无关的表情特征，然后，多视角对比损失子函数旨在将学习到的每种表情的视图无关特征与其他表情区分开来，以区分表情类别，再者，由于面部表情在学习到的特征空间中通常会有非常细微的差别，因此加入了减冗余损失子函数，以减少学习到的特征中的冗余和相关性，旨在减少所学特征中的模糊性，最后，对于网络结构，在编码器的最终卷积块之后添加了一个最终投影头，以生成最终输出嵌入，以及在编码器的注意力机制模块、特征融合模块之后加入了中间投影头，中间投影头的使用有助于学习良好的特征。

主权项：1.一种基于对比学习的视角无关面部表情识别方法，其特征在于，包括：构建VI-FER网络，所述VI-FER网络中包含编码器以及与所述编码器连接的最终投影头，所述最终投影头为具有两个全连接层的第一浅层神经网络，所述编码器包括图像预处理模块、特征提取模块、注意力机制模块、与所述注意力机制模块连接的第一中间投影头、特征融合模块、与所述特征融合模块连接的第二中间投影头以及编码器输出模块；所述第一中间投影头的表达式为： ，式中，为第一中间投影头的输出，为第一卷积层和第一自适应平均池化层，为第一全连接层和第一激活函数，为注意力机制模块的输出特征；所述第二中间投影头的表达式为： ，式中，为第二中间投影头的输出，为第二卷积层和第二自适应平均池化层，为第二全连接层和第二激活函数，为特征融合模块的输出特征；获取人像的至少一个正视面部表情图像以及与所述至少一个正视面部表情图像相对应的第一类别标签，得到正样本集，和获取人像的至少一个非正视面部表情图像以及与所述至少一个非正视面部表情图像相对应的第二类别标签，得到负样本集；分别将所述正样本集中的至少一个正视面部表情图像和所述负样本集中的至少一个非正视面部表情图像作为所述VI-FER网络的输入，以及将对应的所述第一类别标签和所述第二类别标签作为所述VI-FER网络的输出，训练得到最终的面部表情识别模型，所述面部表情识别模型的目标损失函数包括监督对比损失子函数、多视角对比损失子函数以及减冗余损失子函数；所述减冗余损失子函数的表达式为： ，式中，为VI-FER网络的目标损失函数，为用于训练编码器注意力机制模块的中间层的损失，为用于训练编码器特征融合模块的中间层的损失； ，式中，为或，为无关性项，用于将交叉相关矩阵的对角线元素等效为1，为紧凑特征学习下的损失函数，用于将对角线外的项等效为0，为0到1之间的系数，为减冗余负样本对比损失，为减冗余正样本对比损失； ，式中，为批次大小，为获得的基于一种增强的嵌入，其嵌入向量的维度指数为i，为获得的基于另一种增强的嵌入，其嵌入向量的维度指数为j； ，式中，为负样本对的数量，为模型的特征提取函数，用于提取正样本的特征表示，为用于提取输入负样本的特征提取函数，为用于提取负样本的特征提取函数，为一个小的常数，用于防止分母为零，为正样本，维度为i，为负样本，维度为j，为与同类的负样本，其维度为k； ，式中，为正样本对的数量，为用于提取输入正样本的特征提取函数；所述监督对比损失子函数的表达式为： ，式中，为监督对比损失子函数，为同一表情不同视图间的相似性得分，为不同表情间的相似性得分，为控制负样本权重的超参数，为控制负样本边界值的超参数，为正样本对的数量，为温度参数，用于控制相似性分布的平滑程度；所述多视角对比损失子函数的表达式为： ，式中，为多视角对比损失子函数，为样本对i,j的权重，为指示函数，表示当i不等于j时取值为1，否则为0，用于过滤掉相同样本对，为另一个指示函数，表示当样本i和样本j的特征函数值相等时取值为1，否则为0，用于确保相同特征函数值的样本能够被捕捉到，为图像的视图无关指数，为正样本和负样本之间的相似度； ，式中，为正样本最终的投影嵌入向量，为负样本最终的投影嵌入向量，为第二个增强图像的索引； ，式中，为具有相同视图无关指数的图像数量；将获取的实时非正视面部表情图像输入至所述面部表情识别模型中，所述面部表情识别模型输出与所述实时非正视面部表情图像相对应的表情分类结果。

全文数据：

权利要求：

百度查询： 华东交通大学 一种基于对比学习的视角无关面部表情识别方法及系统