买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明涉及疼痛表情识别技术领域，具体涉及一种基于双分支神经网络的疼痛表情识别方法，包括如下步骤：对输入图像进行预处理，将原始图像分割出左眼EF，右眼ER，鼻子N，嘴巴M四个区域，并将四个区域都调整为相同大小；将原始图像输入全局分支，经处理得到全局特征向量V1；将分割出的四个区域依次输入局部分支的特征提取网络，得到每个区域相对应的特征图，将特征图在通道维度上拼接，然后将特征图通过全局平均池化得到特征向量V2；将V1与V2拼接起来得到V，通过全连接层进行特征融合得到，对应用softmax进行分类，得到每个疼痛强度等级的概率，其中最大概率对应的等级便是识别结果。本发明能提高对于相邻疼痛强度等级的区分，大大提高疼痛强度识别的准确性。

主权项：1.一种基于双分支神经网络的疼痛表情识别方法，其特征是，包括如下步骤：a）对输入图像进行预处理，将原始图像分割出左眼EF，右眼ER，鼻子N，嘴巴M四个区域，并将四个区域都调整为相同大小；b）将原始图像输入全局分支，经处理得到全局特征向量V1；b-1）原始图像经全局分支的简单特征提取模块进行特征提取得到特征T1、T2和T3，同时将原始图像传输至第一个网络层得到特征，再将特征传输至第二个网络层得到特征F；b-2）将特征T1，T1输入第一残差块R1的第一个网络层，得到特征，对特征执行批归一化操作，得到特征，特征经ReLU激活函数得到;将特征输入第一残差块R1的第二个网络层，卷积操作得到特征；将特征输入第一残差块R1的第三层网络层，卷积操作得到特征，对特征执行批归一化操作得到特征，特征经ReLU激活函数得到；将特征输入第一残差块R1的第四层网络层，卷积操作得到特征；将特征输入第一残差块R1的第五层网络层，卷积操作得到特征，对特征执行批归一化操作得到特征，特征经ReLU激活函数得到；将特征输入第一残差块R1的第六层网络，卷积得到特征，对特征执行批归一化操作，得到特征，最后，将特征与输入特征T1相加，执行操作，执行得到第一残差块R1的输出特征；b-3）将特征T2，T2输入第二残差块R2的第一个网络层，卷积得到特征，对特征执行批归一化操作，得到特征，特征经ReLU激活函数得到；将特征输入第二残差块R2的第二个网络层，卷积操作得到特征；将特征输入第二残差块R2的第三个网络层，卷积操作得到特征，对特征执行批归一化操作得到特征，特征经ReLU激活函数得到；将特征输入第四个网络层，卷积操作得到特征；将特征输入第五个网络层，卷积操作得到特征，对特征执行批归一化操作得到特征，特征经ReLU激活函数得到特征，将特征与输入特征T2相加，执行操作，得到第二残差块R2的输出特征；b-4）将特征T3，T3分别输入Inception模块I的四个分支X1、X2、X3、X4；在X1中，特征T3卷积得到特征；在X2中，特征T3输入第一层网络，得到特征，特征输入第二层网络，卷积得到特征，特征输入第三层网络，卷积得到特征；在X3中，特征T3输入第一层网络，得到特征，特征输入第二层网络，卷积得到特征，特征输入第三层网络，卷积得到特征，特征输入第四层网络，卷积得到特征，特征输入第五层网络，卷积得到特征；在X4中，特征T3输入第一层网络经最大池化操作得到特征，特征输入第二层网络经1×1卷积得到特征；在通道维度上将、、、进行拼接，得到特征 ，将特征输入1×1卷积层，通道数缩减为的四分之一，得到特征，最后对执行softmax操作，具体运算如下： ，经上述公式得到输出；b-5）将特征F输入全局分支的注意力机制的第一注意力特征提取模块A1；经过A1中的第一残差块得到中间特征；将输入A1中的第二残差块得到中间特征；将输入A1中的第二残差块得到特征，将输入Inception模块I得到注意力分数，计算得到注意力特征图， ；将注意力特征图输入A1中的第二残差块R2得到特征，执行运算得到注意力模块A1的输出结果；b-6）将输入全局分支的第二注意力特征提取模块A2；经过A2中的第一残差块得到中间特征；将输入A2中的第二残差块’得到中间特征，将中间特征输入A2中的第二残差块R2得到中间特征；将输入A2中的第二残差块得到特征，将输入Inception模块I得到注意力分数，计算得到注意力特征图， ；将得到的注意力特征图输入到A2中的第二残差块得到特征，执行运算得到注意力模块A2的输出结果；b-7）将输入全局分支的第三注意力特征提取模块A3，经过A3中的第一残差块得到中间特征;将输入A3中的第二残差块得到中间特征，将输入A2中的第二残差块R2得到特征;将输入Inception模块I得到注意力分数，计算得到注意力特征图， ;将注意力特征图输入A3中的第二残差块得到特征，执行运算得到注意力模块A3的输出结果；b-8）将上述注意力特征提取模块得到的最终特征通过全局平均池化操作，得到特征向量V1；c）将分割出的四个区域依次输入局部分支的特征提取网络，得到每个区域相对应的特征图，将特征图在通道维度上拼接，然后将特征图通过全局平均池化得到特征向量V2；c-1）将分割的局部图像左眼EF，右眼ER，鼻子N，嘴巴M分别输入局部分支特征提取网络;c-2）输入局部分支特征提取网络的第一网络层L1，卷积操作得到特征；特征经批归一化得到特征，特征经ReLU得到特征，特征输入到L1第二层经池化得到特征；c-3）特征输入到局部分支特征提取网络的第二网络层L2，卷积得到特征，特征经批归一化得到特征；特征输入到L2第二层经卷积得到特征，特征经批归一化得到特征，特征经ReLU激活函数得到特征；特征输入到L2，池化得到特征；c-4）特征输入到局部分支特征提取网络第三网络层L3，经卷积得到特征，特征经批归一化得到特征，特征经卷积得到特征，特征经批归一化得到特征，特征经ReLU激活函数得到特征，特征输入到L3第三层经池化得到特征；c-5）特征输入到局部分支特征提取网络第四网络层L4，经卷积得到特征，特征经批归一化得到特征，特征经卷积得到特征，特征经批归一化得到特征，特征经ReLU激活函数得到特征，特征输入到L4第三层经池化得到特征；c-6）对应用全局平均池化得到相对应的特征向量V2；d）将V1与V2拼接起来得到V，通过全连接层进行特征融合得到，对应用softmax进行分类，得到每个疼痛强度等级的概率，其中最大概率对应的等级便是识别结果。

全文数据：

权利要求：

百度查询： 齐鲁工业大学(山东省科学院) 山东省人工智能研究院 基于双分支神经网络的疼痛表情识别方法及系统