买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：东南大学

摘要：本发明公开了一种基于生成式对抗网络的人脸口罩移除方法，首先搭建两路并行的生成式对抗网络，包括生成路径和重建路径，同时引入人脸属性作为先验输入，引导网络的生成和重建过程；对开源的大型人脸数据集进行预处理，定位人脸得到坐标，然后生成口罩，模拟遮挡的效果，从而得到佩戴口罩的人脸数据集；将佩戴口罩的人脸、对应的口罩遮挡以及该人脸的一些真实属性描述作为输入，放入生成式对抗网络进行训练，通过和对应的真实、未遮挡人脸进行对抗式学习，得到网络的权重和偏置；将佩戴口罩的人脸图像和人脸属性先验输入网络，即可得到结果，能够在去除口罩、生成人脸的基础上，提高生成人脸和真实人脸之间的匹配度。

主权项：1.一种基于生成式对抗网络的人脸口罩移除方法，其特征在于：该方法包括以下步骤：1搭建两路并行的生成式对抗网络模型；在步骤1中，所述搭建两路并行的生成式对抗网络模型的结构如下：1.1生成路径：输入为戴口罩的人脸图像，用于去除口罩、生成人脸；网络包括五层编码器、五层解码器和五层鉴别器；其中，第三层编码器和第三层解码器之间设置旁路、第五层编码器和第一层解码器之间设置旁路；第三层解码器中包含一个长短注意力模型；鉴别器的第三层包含一个长短注意力模型；1.2重建路径：输入为仅包含口罩遮挡区域的真实图像，用于提取特征、重建人脸；网络包括五层编码器、五层解码器和五层鉴别器；其中，第一层解码器和1.1中第一层解码器之间设置旁路，第三层解码器和1.1中的第三层解码器之间设置旁路；第三层解码器中包含一个长短注意力模型；鉴别器的第三层包含一个长短注意力模型；1.3人脸属性：输入1*7的仅包含-1和1的向量，用于指导网络的生成和重建；7维代表7种人脸属性，依次是大鼻子、胖脸颊、化妆、男性、张嘴、无胡须和年轻，-1代表不具有相关的属性，1代表具有相关的属性；人脸属性向量经过特征提取，和1.1生成路径与1.2重建路径进行特征叠加和特征估计，并反馈给1.1生成路径与1.2重建路径的特征提取部分；1.4其中，1.1生成路径和1.2重建路径共享参数，1.1生成路径既用于网络训练阶段也用于网络测试阶段，1.2重建路径仅在网络训练阶段使用2对人脸数据集进行预处理，得到人脸口罩数据集；3设置神经网络结构参数和训练参数并且初始化；4将人脸图像、口罩图像和人脸属性作为网络的输入；5对网络进行训练得到网络权重和偏置参数，得到网络模型；在步骤5中，所述的网络训练的过程如下：5.1将网络按照预设的结构进行搭建，初始化网络的权重和损失函数的系数；5.2将戴口罩的人脸、口罩图像和人脸属性向量作为神经网络的输入；5.3损失函数由外观匹配损失、KL散度损失、鉴别器对抗损失和属性判别损失组成,对不同的部分采用了不同的权重值；其中，外观匹配损失指的是生成的图像和真实图像的结构和纹理误差；KL散度损失指的是生成图像和真实图像概率分布误差，也即两个图像之间的相似性误差；鉴别器对抗损失指的是生成式对抗网络的生成图像和真实图像的判别误差；属性判别损失指的是生成图像和真实图像的人脸属性判别误差；5.4通过训练和交叉验证，不断地训练并更新网络的参数，得到最终的神经网络模型；6将戴口罩的人脸和真实的人脸属性输入网络，得到去除口罩、生成人脸的结果。

全文数据：

权利要求：

百度查询： 东南大学 一种基于生成式对抗网络的人脸口罩移除方法