买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华南理工大学;中山市华南理工大学现代产业技术研究院

摘要：本发明提供了一种自然场景中高分辨率三维人脸纹理生成方法，包括以下步骤：1、采用人脸检测网络去除人脸图像背景；利用三维人脸重建模型生成相应的三维人脸信息，随后对输入图像进行重采样生成不完整的高分辨率人脸纹理图；2、将不完整的高分辨率人脸纹理图进行降采样，通过一个高分辨率网络模型提取其特征，并预测图像变形场；3、对低分辨率人脸纹理图进行变形处理，得到完整的低分辨率人脸纹理贴图；通过人脸数据集对高分辨率网络模型进行训练，4、将图像变形场上采样为高分辨率变形场，并对不完整的高分辨率人脸纹理进行变形得到完整的高分辨率人脸纹理。本发明利用变形场的可插值性质能使生成的人脸纹理具有更高的分辨率和强真实感。

主权项：1.自然场景中高分辨率三维人脸纹理生成方法，其特征在于：包括以下步骤：S1、采用人脸检测网络去除人脸图像背景；利用三维人脸重建模型生成相应的三维人脸形状信息；通过三维人脸信息对输入图片进行重采样生成不完整的高分辨率人脸纹理图；步骤S1还包括对图片进行人脸检测、人脸对齐，然后通过三维人脸重建模型预测得到输入图片的三维人脸形状信息S，S是一个n*3大小的向量，由n个三维人脸点Vs＝x,y,z堆叠而成，对于S上任意一点Vs,通过圆柱形展开将该点投影到二维UV平面上的点vT＝u,v，过程公式如下： 其中，α1、α2是缩放系数，β1、β2是平移因子；随后通过点Vs和vT之间的对应关系，对输入图像进行重采样求解获得不完整的人脸纹理UV贴图，公式如下： 其中，Tu,v表示采样得到的二维人脸纹理图，Tsx,y,z表示三维人脸纹理，x,y,z和u,v分别表示人脸模型上某一点对应的三维顶点坐标和UV空间坐标，I是输入图像，代表对x、y坐标的值分别进行向下取整；S2、将不完整的高分辨率人脸纹理图进行降采样，输入高分辨率网络模型预测图像变形场；将不完整的低分辨率人脸纹理图输入高分辨率网络模型，所述高分辨率网络模型为HRNet-W32，提取图像的多尺度特征图，最后通过sigmoid输出层得到归一化的图像变形场M，M是一个大小为W*H*2的矩阵，W、H分别为特征图的宽和高；图像变形后的坐标对应点信息通过以下公式得到： 其中，Mu,v,0和Mu,v,1代表变形场上对应索引的元素的值，u，v表示图像变形前的纹理空间坐标；S3、利用双线性插值对低分辨率人脸纹理进行变形处理，得到完整的人脸纹理图，随后将人脸纹理渲染回图像空间得到重构的人脸照片；对高分辨率网络模型进行训练，通过图像重建损失函数保证人脸纹理图保留原来的人脸特征，对生成人脸纹理的正脸和侧脸部分分别添加图像判别器，使用对抗损失函数训练提升生成人脸纹理的质量，通过对变形场计算全变分损失函数保证生成的变形场足够平滑，最后添加对称性损失函数保证生成的人脸纹理符合人脸对称性；所述双线性插值的公式如下： 其中，是变形后的人脸纹理图，表示采样得到的二维人脸纹理图，u,v和分别代表图像变形前后的纹理空间的对应点，分别代表和向上和向下取整的值的集合；所述图像重建损失函数通过VGG16网络提取输入和输出图像的卷积特征计算重建损失： 其中Φ是所述VGG16网络中的特征提取层，W和H是特征图的宽和高，Iface是保留人脸区域的输入图片，是利用变形后的人脸纹理图渲染得到的人脸图片，ΦIfacei,j、分别表示将Iface和输入到VGG16网络所得到输出特征；对正脸和侧脸纹理分别添加一个判别器，采用hingeloss为对抗损失函数，高分辨率网络模型的正脸纹理损失函数Ladv_f和侧脸纹理部分的损失函数Ladv_p公式过程如下： 正脸判别器网络损失函数Ldis_f和侧脸判别器网络损失函数Ldis_p公式过程如下： 其中表示变形后的人脸纹理图的正脸和侧脸部分，Tgt_front和Tgt_profile表示真实的人脸纹理图的正脸和侧脸部分，Dfront、Dprofile分别表示正脸和侧脸纹理判别器,DfrontTgt_front表示将和Tgt_front输入到正脸判别器得到的值，DprofileTgt_profile表示将和Tgt_profile输入到侧脸纹理判别器得到的值；全变分损失函数Ltv如下： 其中W、H、C是特征图的宽、高和通道数，Mx+1,y,c、Mx,y+1,c、Mx,y,c均表示图像变形场M上对应索引元素的值，其中c表示图像变形场矩阵中对应的通道坐标的值；添加对称性损失以保持人脸对称性，其公式如下： 其中是变形后的人脸纹理图，Flip是将人脸纹理进行左右翻转的操作函数；高分辨率网络模型HRNet-W32的损失函数表示成重建损失，对抗损失、全变分损失和对称损失的加权求和：Ltotal＝Lrec++λ1Ladv_f+λ2Ladv_p+λ3Ltv+λ4Lsym11其中λ1、λ2、λ3,λ4是相应的比例系数；S4、将低分辨率图像变形场上采样为高分辨率变形场，并对不完整的高分辨率人脸纹理进行变形得到完整的高分辨率人脸纹理贴图。

全文数据：

权利要求：

百度查询： 华南理工大学 中山市华南理工大学现代产业技术研究院 自然场景中高分辨率三维人脸纹理生成方法