买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：新疆爱华盈通信息技术有限公司

摘要：本发明提供了一种人脸表情识别方法、装置、设备及存储介质，其中，方法包括：获取原始图片；通过第一神经网络从所述原始图片中截取出人脸图像，并提取出单人表情特征；通过第二神经网络对所述单人表情特征进行多尺度提取，得到不同尺度下所述单人表情特征的注意力特征图；将不同尺度下所述单人表情特征的注意力特征图进行合并，得到融合特征图；利用Softmax分类器对所述融合特征图进行分类识别，并生成分类结果。本发明的人脸表情识别方法，使用了两种神经网络，其中一个神经网络用于提取出人脸表情特征，另一个神经网络则用于对人脸表情特征在多种尺度下进行识别，提高了人脸表情识别的精确度。

主权项：1.一种人脸表情识别方法，其特征在于，所述人脸表情识别方法包括：获取原始图片；通过第一神经网络从所述原始图片中截取出人脸图像，并提取出单人表情特征；通过第二神经网络对所述单人表情特征进行多尺度提取，得到不同尺度下所述单人表情特征的注意力特征图；将不同尺度下所述单人表情特征的注意力特征图进行合并，得到融合特征图；利用Softmax分类器对所述融合特征图进行分类识别，并生成分类结果；所述第一神经网络为VGGNet16神经网络，所述VGGNet16网络的第一层采用Inception结构，在图像输入的时候使用多个尺度的卷积核对其进行不同尺度的特征提取，并将不同大小卷积核提取的多种特征进行特征融合，在3*3和5*5的卷积核支路使用bottleneck结构，对着两条卷积核支路进行降维；bottleneck瓶颈层先使用卷积核尺度为1*1的卷积层对输入的图像进行降维操作，然后在输出的1*1卷积层中将通道数复原，同时使用两个3*3的卷积代替5*5的卷积；所述第二神经网络为SeNet网络，所述SENet网络包括有3条并行的注意力分支，其中一条注意力分支用于处理尺度为h*w*c的单人表情特征，另一条注意力分支用于处理尺度为0.5h*0.5w*c的单人表情特征，还有一条注意力分支用于处理尺度为0.25h*0.25w*c的单人表情特征，所述第二神经网络对不同尺度的单人表情特征进行并行卷积运算后，还需要将不同尺度的尺度注意力特征图进行融合，注意力模块输出是反映空间注意力的，与特征图通道数一一对应的长度为C的向量，所述向量再用于与输入特征图每个通道相乘，多个维度的相乘结果拼接到一起得到了最后的输出特征图；所述第二神经网络在对单人表情特征进行并行卷积运算时，使用求通道内均值的方式对不同尺度特征图求注意力，获得1*1*C形式的注意力，C是通道的数量，因为是1*1每个通道只有一个对应的值，所述值与原图对应通道内的每个值做乘积；所述通过第一神经网络从所述原始图片中截取出人脸图像，并提取出单人表情特征包括：使用所述VGGNet16神经网络对所述原始图片中的人脸进行识别；根据所述VGGNet16神经网络的识别结果从所述原始图片中截取出所需的所述人脸图像，并提取出所述人脸图像中所述单人表情特征；所述通过第二神经网络对所述单人表情特征进行多尺度提取之前包括：获取不同人脸表情的训练样本；将所述训练样本进行下采样后输入到所述SeNet网络中进行训练；计算Softmax分类损失并规则化中心损失，直至损失函数收敛；所述通过第二神经网络对所述单人表情特征进行多尺度提取，得到不同尺度下所述单人表情特征的注意力特征图包括：对所述单人表情特征进行下采样，得到不同尺度的所述单人表情特征；对不同尺度的所述单人表情特征进行并行卷积运算，得到不同尺度下所述单人表情特征的注意力特征图；其中，所述使用VGG神经网络对所述原始图片中的人脸进行识别之前包括：使用WiderFace数据集对所述VGG神经网络进行训练；其中，所述从所述原始图片中截取出人脸图像之前包括：对所述原始图片进行高斯模糊处理。

全文数据：

权利要求：

百度查询： 新疆爱华盈通信息技术有限公司 人脸表情识别方法、装置、设备及存储介质