买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京航空航天大学申请的专利一种基于多尺度特征交叉融合和对比分离多头注意力的面部表情识别方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117079328B 。

龙图腾网通过国家知识产权局官网在2025-11-21发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202311049241.0，技术领域涉及：G06V40/16；该发明授权一种基于多尺度特征交叉融合和对比分离多头注意力的面部表情识别方法是由李阳;刘文康;孙茗逸;严伟栋设计研发完成，并于2023-08-20向国家知识产权局提交的专利申请。

本一种基于多尺度特征交叉融合和对比分离多头注意力的面部表情识别方法在说明书摘要公布了：本发明提供了一种基于多尺度特征交叉融合和对比分离多头注意力的面部表情识别方法。采用公开的面部表情数据集RAF‑DB进行有效性验证：首先建立训练集和测试集；其次将训练集进行数据增强，并设计多尺度特征交叉融合和对比分离多头注意力网络，将训练集输入模型中训练；最后将测试集输入训练好的网络中进行性能测试。本发明的主要创新点在于设计了基于奖惩机制的多尺度特征交叉融合模块，使模型学到了更丰富特征，同时提高了样本的可分离性；提出了分离多头注意力模块，从多个区域建模特征信息；设计了基于对比学习的注意力一致性平衡框架，计算注意力热图的一致性损失，提高了对潜知识的学习，模型在RAF‑DB数据集上的识别准确率为89.93％，优于现有最优方法。

本发明授权一种基于多尺度特征交叉融合和对比分离多头注意力的面部表情识别方法在权利要求书中公布了：1.一种基于多尺度特征交叉融合和对比分离多头注意力的面部表情识别方法，其特征在于包括： 步骤S1：获取国际公开的彩色面部表情识别数据集RAF-DB和ResNet-50预训练模型参数； 步骤S2：分别选取数据集中用于训练和测试的图像，统一训练图像的尺寸并设计随机数据增强环节，建立训练数据集，统一测试图像的尺寸，建立测试数据集； 步骤S3：使用Pytorch深度学习框架，结合ResNet-50网络建立多尺度特征交叉融合和对比分离多头注意力网络； 步骤S4：将步骤S1中所获取的预训练模型参数加载到多尺度特征交叉融合和对比分离多头注意力网络中，再将步骤S2中所建立的训练数据集输入到该网络中，进行面部表情识别模型的训练，等待训练完成之后，保存模型参数； 步骤S5：加载步骤S4中所保存的模型参数，获得训练后的面部表情识别模型，将步骤S2中建立的测试集输入到模型中，获得面部表情识别结果， 其中： 所述步骤S2包括随机旋转、随机剪裁、随机擦除， 记训练数据集为D＝{Xi,yi|i＝1,…,N}，其中： N表示标记的训练数据的数量； 代表一个输入图像，包含C个通道，输入图像的宽高分别为H和W； yi是每个图像的标签，1表示该图像中的人脸是惊喜，2表示恐惧，3表示恶心，4表示幸福，5表示悲伤，6表示愤怒，7表示中性， 其中所述步骤S3包括： A构建基于奖惩机制的多尺度特征交叉融合模块，用于提取从抽象到具体的多级特征，进而通过聚类提高样本的可分离性，所述基于奖惩机制的多尺度特征交叉融合模块的操作包括： A1利用ResNet-50预训练模型作为主干网络提取图像的特征金字塔，特征金字塔由抽象到具体特征图组成，并被表征为： 其中，表示由ResNet-50网络第i个阶段输出的特征，G表示特征金字塔的层数，并使用1×1卷积统一通道数至与相同； A2基于奖惩机制的多尺度特征交叉融合模块一共包含三个特征金字塔，分别为Fin，Ft和Fout，首个金字塔Fin到中间金字塔Ft用于具体特征向抽象特征扩散，通过双线性插值的上采样操作将特征H×W扩大至2H×2W，与更抽象特征相加后再使用3×3卷积进一步融合，中间金字塔Ft到末尾金字塔Fout用于抽象特征向具体特征扩散，通过池化操作将H×W缩小一倍，与更具体特征相加后再使用3×3卷积进一步融合，从而实现多尺度特征的交叉融合，并统一末尾金字塔的特征尺度，使用池化层统一至相同尺寸相加，得到特征图X′i； A3对于融合后的特征图，采用奖惩机制的损失函数，其中不仅奖励样本特征向所属类中心的移动，而且惩罚了样本特征向非所属类中心的移动，从C′维高斯分布中随机抽取M个类中心C＝{Ci|i＝1,M…,M}，设置为可学习参数，奖惩机制的损失函数为： 式中表示奖惩机制的损失函数，C′表示Xi′的通道数，ε为10-6，用于避免分母为零，λ用于控制两个部分的权重， B构建分离多头注意力模块，用于关注特征图的不同局部位置，包括： B1分离多头注意力模块在水平方向上包含多个平行的注意力头，每个注意力头由空间注意力单元和通道注意力单元的分离结构组成，每个注意力头的输入是聚合后的特征图输出； B2空间注意力单元使用Inception和残差结构，每个空间注意力单元包含V个Inception-residual块，每个块由1×3、3×3、3×1卷积核的三层卷积操作、ReLU激活函数和残差结构组成，其中V定义为超参数，Inception结构用于使模型关注不同特征图的尺度，空间注意力单元的作用为： 式中，代表空间注意力单元，Wsa表示的参数，表示多头空间注意力单元的输出集合，代表第j个注意力头的输出； B3通道注意力单元包含W个线性残差块，每个块由线性变换层、ReLU激活函数层和残差结构组成，通道注意力单元的作用为： 式中，代表通道注意力单元，Wca表示的参数，表示多头通道注意力单元的输出集合，表示第j个注意力头的输出； B4为了克服分离多头注意力模块仅仅是在水平方向重复堆叠H个注意力头而不能保证每个头关注特征图的不同位置问题，采用分散损失函数来分散多个注意力头的注意力，分散损失函数为： 式中，代表第i个样本特征图的k，l点第j通道的方差， C建立基于对比学习的注意力一致性平衡框架，首先在图像预处理过程中，将原图水平翻转得到翻转图，然后将原图和翻转图依次输入到基于奖惩机制的多尺度特征交叉融合模块和多头注意力模块，最后将得到的两个特征图用对比损失函数计算对比损失，该框架用于给特征学习过程增加约束条件，提高翻转前后图像的一致性，包括： C1首先，将原图像进行数据增强得到翻转图，原图和翻转图组成的图像对同时输入到由基于奖惩机制的多尺度特征交叉融合模块和多头注意力模块组成的编码器中； C2然后，将得到的两个特征图计算对比损失，对比损失函数为： 式中，定义为原图像从空间注意力单元输出的特征，表示翻转图像从空间注意力单元输出的特征，flip代表翻转，和像素点位置对应。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京航空航天大学，其通讯地址为：100191 北京市海淀区学院路37号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。