买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华南理工大学;华南理工大学珠海现代产业创新研究院

摘要：本发明公开了一种可恢复身份信息的人脸超分辨率重建方法，包括：1准备训练数据，包括低分辨率输入图像、高分辨率目标图像和目标面部掩膜；2构建人脸超分辨率网络，由相互协作的主、副两个分支组成；3将低分辨率图像送入步骤2中网络，得到高分辨率图像和副分支输出的面部掩膜；4计算总损失，其包括掩膜像素损失、面部掩膜损失和感知特征损失；5根据步骤4中的总损失对网络参数进行优化和更新；6验证步骤5中的网络性能是否达标，若达标，则停止训练；若不达标，则重复步骤1‑6。本发明解决了现有的人脸超分辨率重建方法生成的人脸图像识别率低的问题。

主权项：1.一种可恢复身份信息的人脸超分辨率重建方法，其特征在于，包括以下步骤：1准备训练数据，包括低分辨率输入图像ILR、高分辨率目标图像IHR以及根据高分辨率目标图像IHR生成的目标面部掩膜mGT；2构建人脸超分辨率网络FMANet，该网络能够按照设定的扩增倍率将低分辨率图像ILR重建为包含身份信息的高分辨率图像ISR；该网络由两个相互协作的分支组成，分为主分支和副分支；主分支用于提取低分辨率输入图像ILR的特征并重建高分辨图像ISR；副分支以该低分辨率输入图像ILR提取的特征作为输入，并输出基于输入图像的具有多种尺寸的面部掩膜，用于协助主分支重建图像；3将步骤1中的低分辨率图像ILR送入步骤2中的人脸超分辨率网络FMANet，进行前向推理并得到高分辨率图像ISR，以及副分支输出的面部掩膜mi,i∈{1,2,3,1up,2up,1upup}，其中i表示面部掩膜的序号，1up,2up,1upup则分别表示不同尺寸面部掩膜的下标；4根据步骤3中的高分辨率图像ISR和面部掩膜mi，以及设定的损失函数计算总损失LTotal，其中包括掩膜像素损失LMaskPix、面部掩膜损失LMaskMap和感知特征损失LPCP；所述掩膜像素损失LMaskPix计算公式为： 其中，H、W、C分别为高分辨率目标图像IHR和重建的高分辨率图像ISR的高、宽和色彩通道数；d为范数操作的阶数；wMaskPix为设定的超参数；*为像素级点乘操作；面部掩膜损失LMaskMap计算公式为： 其中，wi,i∈{1,2,3}为设定的权重值；为L1损失函数；mi,i∈{1,2,3}为副分支输出的面部掩膜；为对应于mi的目标面部掩膜，由mGT下采样得到；感知特征损失LPCP计算公式为： 其中，R50表示从ResNet50网络中预先选定的5个网络层的集合，表示从输入高分辨率图像ISR或高分辨率目标图像IHR到网络层j的传递函数；总损失LTotal计算公式为：LTotal＝αLMaskPix+βLMaskMap+γLPCP其中，α、β、γ分别为上述三个损失的权重；5根据步骤4中的总损失LTotal对网络参数进行优化和更新；6根据预先设定的验证方法和数据集，测试优化后的人脸超分辨率网络FMANet的性能是否达标；若达标，则停止训练，后期直接用该人脸超分辨率网络FMANet进行人脸超分辨率重建任务即可；若不达标，则重复步骤1至步骤6；测试人脸超分辨率网络FMANet对低分辨率图像中身份信息的恢复程度，即评估生成的高分辨率图像对于人脸识别性能的保持度；在选定用于测试的人脸数据集和用于提取特征的人脸识别模型后，具体测试步骤为：6.1将人脸数据集中的图像按照设定的缩放倍数进行下采样，得到低分辨率图像ILR；6.2将步骤6.1中的低分辨率图像ILR送入人脸超分辨率网络FMANet得到具有身份信息的高分辨率图像ISR；6.3将步骤6.2中得到的高分辨率图像ISR送入人脸识别模型并提取特征，最后根据该特征计算人脸超分辨率网络FMANet在此数据集上的人脸识别准确率。

全文数据：

权利要求：

百度查询： 华南理工大学 华南理工大学珠海现代产业创新研究院 一种可恢复身份信息的人脸超分辨率重建方法