买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京航空航天大学

摘要：本发明涉及一种基于加权双流残差网络的口罩人脸姿态分类方法，属于计算机视觉领域。该方法包括如下步骤：1：采集、构建口罩人脸姿态数据集，并制作仿真口罩人脸姿态数据集进行数据扩充；2：将口罩人脸姿态数据集划分为训练样本部分和测试样本部分；3：将口罩人脸姿态图像划分出口罩未遮挡部分；4：构建加权双流残差网络模型；步骤5：将构建的加权双流残差网络模型在训练样本部分进行训练；步骤6：将测试样本部分输入步骤5训练后的模型，得到各个人脸姿态类别的输出概率，实现口罩人脸姿态估计。本发明通过充分利用未遮挡信息来进行基于卷积神经网络的建模，有效地实现口罩遮挡的人脸姿态估计。

主权项：1.一种基于加权双流残差网络的口罩人脸姿态分类方法，其特征在于,包括具体步骤如下：步骤1：采集、构建口罩人脸姿态数据集，并制作半仿真口罩人脸姿态数据集进行数据扩充；步骤2：将口罩人脸姿态数据集划分为训练样本部分和测试样本部分；步骤3：将口罩人脸姿态图像划分出口罩未遮挡部分，将口罩未遮挡部分图像和口罩人脸姿态图像统一调整尺寸为128×128；步骤4：构建加权双流残差网络模型，该模型由双路残差卷积神经网络并行组成，所述网络模型包括2个前置卷积层和8个残差卷积单元，1个改进CAM模块、1个自适应均值池化层及1个全连接层；加权双流残差网络有两个输入，分别为整张口罩人脸姿态图像和口罩未遮挡部分图像；通过增加一路残差卷积神经网络对口罩未遮挡部分图像进行特征提取，通过增加另一路残差卷积神经网络对整张口罩人脸姿态图像进行特征提取，获取信息的对象为整副图像，选取卷积方式为空洞卷积；由于双路残差卷积神经网络获取到的特征重要程度不同，需对特征进行加权处理，首先将两路残差网络最后一层卷积层输出的特征图沿着通道维度进行拼接，然后利用改进CAM模块对每个特征通道进行加权；所述改进CAM模块将输入的通道特征图分别进行全局均值池化、全局随机值池化和全局最大值池化，从而挤压得到三个特征描述符，接着把三个特征描述符送入由两层全连接层构成的共享网络中进行计算，共享网络输出权重向量，然后将权重向量经过sigmoid函数激活得到每个特征通道的权重，最后将权重赋予对应通道的特征图，公式如下： 其中，C为通道数，r为共享网络的缩放系数，取16，σ为sigmoid激活函数，F为输入的特征图，ReLU·为激活函数，Avgpool·为全局均值池化，Maxpool·为全局最大值池化，Stochasticpool·为全局随机值值池化，z1表示全局最大值池化后的特征描述符，z2表示全局均值池化后的特征描述符，z3表示全局随机值池化后的特征描述符，sc为每个特征通道的权重步骤5：将步骤4中构建的加权双流残差网络模型在步骤2中的口罩人脸姿态数据集的训练样本部分进行训练，得到训练后的模型；步骤6：将步骤2中的口罩人脸姿态数据集的测试样本部分输入步骤5训练后的模型，得到各个人脸姿态类别的输出概率，实现口罩人脸姿态估计。

全文数据：

权利要求：

百度查询： 南京航空航天大学 一种基于加权双流残差网络的口罩人脸姿态分类方法