买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：长春师范大学

摘要：本发明提出了一种基于置换注意力的全局和局部特征面部表情识别方法，利用置换注意力机制对局部特征进行特征提取，利用残差多尺度模块对全局特征进行多尺度提取，对人脸面部表情进行识别。本发明所述的一种基于置换注意力的全局和局部特征面部表情识别方法首先采用残差网络，先对输入图片进行预提取得到预提取的特征图，然后将特征图分别通过上下两部分得到全局和局部的特征向量并在决策级进行融合得到最终分类。其中，本发明所述的残差多尺度模块通过通道分割特征映射，通过不同数量的卷积块提取全局特征，从而减少遮挡、位姿变化等问题的影响。本发明所述的置换注意力模块通过加强不同维度之间的联系来提取局部特征，引导空间分裂特征集中到FER的显著区域。得到的全局特征和局部特征分别经过全连通层后，由决策级融合层进行融合。

主权项：1.一种基于置换注意力的全局和局部特征面部表情识别方法，其特征在于使用残差多尺度网络结构与置换注意力机制模块进行全局与局部特征提取，并对其进行特征融合，具体信息如下：（1）所述的残差多尺度网络结构，其特征在于在步长和卷积核大小相同的情况下，将输入张量通过不同数目的串联卷积块提取尺度不同的特征，具体为：输入特征图X首先通过一个3×3的卷积块，将输入特征图通道调整为n的倍数，由此可以将特征图按通道维度均匀划分为n组，每组特征图记作，其中且，然后通过通道注意力模块，为中的每个通道特征图赋予权重，使每个分支的注意力在重要性更高的通道上，通道注意力函数记作，随后，在通过3×3的卷积块提取特征后通过残差结构与融合，这样最后一个分支包含了经过不同数目的3×3卷积块串联提取特征的，由于不同数目的卷积块串联其卷积感受野不同，提取特征的尺度也不相同，因此每个分支包含了不同尺度的特征描述，通过这种对输入特征图的多尺度特征提取，增强了特征的表示能力和网络模型的鲁棒性，为了提高每个分支的泛化能力，本发明将残差结构嵌入到顺序体系结构中以保留原始特征信息，此外，对于第一分支的输入和最后一个分支的输入而言，其特征提取的次数不同，为了确保每个分支都包含丰富的多尺度特征，本发明在网络模型中嵌入了对称结构，使每组特征图都可以相对充分的提取特征信息而不受分支顺序的影响，每个分支的输出结果如公式（1）所示， 公式（1）其中，k表示第k分支，，分别表示第k分支的输入和输出特征图，表示每组特征图通过的3×3卷积块的数量，通过的3×3卷积块额数量越多，其提取特征的尺度越大，每个分支的输出特征图在通道维度上做拼接操作，如公式（2）所示，其中表示通道维度的拼接操作， 公式（2）由对称结构得到的两个输出特征图在相加之后取平均，最后通过残差结构将原始输入和网络输出融合得到网络整体输出，网络整体输出如公式（3）所示，其中，且，为对称网络的输出；公式（3）（2）所述的置换注意力机制模块，其特征在于将输入特征映射置换到不同的维度，以通过不同维度的置换注意力网络分支，具体为：输入特征图，其中C，H和W分别表示输入特征图的通道数，高度和宽度，输入特征图首先被全局平均池化和全局最大池化进行空间维度压缩，将输入特征图的维度从C×H×W压缩至C×1×1，得到每个通道的描述符，然后，所得到的描述符组成的一维向量将通过2个全连接层获得通道维度的注意力矩阵，最后将注意力矩阵与输入特征图X在通道维度上相乘，突出包含关键信息的通道，其输出结果记作，在空间注意力模块部分，本发明建立了跨维度的相互依赖关系，通道注意力模块处理后的将通过一个由上分支、中间分支和下分支构成的三分支网络，中间分支是和CBAM相同的空间注意力模块，通过在通道维度上压缩特征图，可以得到特征图的空间描述符，即全局平均池化和全局最大池化后的1×H×W特征图在通道维度上的连接，空间（HW）描述符的计算公式如公式（4）所示， 公式（4）其中，表示通道维度压缩的输出，空间描述符的数据维度为，之后通过卷积操作得到空间注意力矩阵并通过Sigmoid函数后与相乘，以在空间维度上强调具有更有效信息的区域，上分支和中间分支类似，但是此分支的描述符是通过压缩W获取的，为了实现这一点，首先通过转置操作，从数据维度转置为数据维度，记作，之后将沿W维通过全局平均池化和全局最大池化压缩并按W拼接得到，然后得到CH维度的描述符，该描述符在卷积之后得到CH维度的注意力矩阵，在经过Sigmoid函数压缩后与按W维度相乘，得到CH维度注意力处理后的输出特征图，再将输出特征图的数据维度转置为原特征图的数据维度，用于下一步的处理，通过这种方式，建立了C维和H维的相互作用关系，该分支的最终输出如公式（5）所示， 公式（5）其中，表示Sigmoid激活函数，表示广播元素乘法，同样，下分支的CW维度描述符是通过压缩H维得到的，将从数据维度转置为数据维度之后经过下分支网络对输入特征图添加CW维度注意力，建立C维和W维之间的相互作用关系，其输出计算过程如公式（6）所示， 公式（6）在获得三个分支的输出后，对三个输出特征图进行元素级别平均，得到TDAM网络的整体输出，如式公式（7）所示， 公式（7）通过在不同维度之间建立联系，使注意力网络可以更全面的对特征图施加二维注意力影响。

全文数据：

权利要求：

百度查询： 长春师范大学 一种基于置换注意力的全局和局部特征面部表情识别方法