买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明公开了一种基于三维人脸形变模型的人脸图像生成方法，属于计算机视觉领域。该方法包括：使用三维人脸形变模型渲染多种姿态和光照条件下的人脸图像；修复渲染人脸图像在眼睛和嘴巴处的空洞；基于修复的人脸图像进行人脸语义分割，截取眉毛以下的语义区域；在截取的人脸语义分割图上生成并补全其他语义特征，如头发、耳朵等等；以补全后的人脸语义分割图像为条件生成逼真的人脸肖像，使用渲染的人脸图像替换生成肖像的对应区域，并做图像融合。本发明在三维人脸形变模型的基础上得到完整的人脸肖像，在保留原始三维人脸纹理信息的前提下，为人脸图像添加了头发、衣服、耳朵等难以进行精确三维建模的特征，增加了人脸图像的真实感。

主权项：1.一种基于三维人脸形变模型的人脸图像生成方法，其特征在于，包括如下步骤：S1：使用多个三维人脸形变模型通过设定不同的姿态和光照条件，渲染得到多个人脸图像，其中人脸图像的眼睛和嘴巴区域包含空洞；S2：对包含空洞的渲染图像进行人脸修复：使用三维人脸形变模型和原始采集的高精度三维人脸模型在相同的光照、相机参数条件下渲染成对人脸图像，作为人脸修复网络的训练集，其中原始采集的高精度三维人脸模型图像为真值；将步骤S1得到的人脸图像输入训练后的人脸修复网络，网络输出的图像为补全眼睛和嘴巴空洞的图像，其他区域像素保持不变；具体方法为：首先由于参数化人脸模型具有拓扑一致性，即每个模型具有相同的顶点数，且对应索引的顶点语义相同，因此可根据顶点索引，从完整的参数化头部模型中根据索引选择顶点，截取出面部人脸模型，记为A，从而避免渲染时被模型后侧的面片干扰；设定相机外参为从采集图像时记录的相机参数，设定光照为均匀环境光，背景为白色，使用截取的面部模型A在该视角和光照条件下，以背面剔除模式渲染人脸图像，记为IA，该图像为人脸修复网络中的输入图像；根据原始采集的图像使用多视角三维重建得到的高精度模型记为B，然后在与模型A相同视角、光照、背景等条件下渲染模型B的图像，记为IB；检测图像IA的最外层轮廓，绘制掩膜，轮廓内像素为1，轮廓外为0，得到一个二值掩膜M；最后将掩膜M与图像IB相乘，得到成对训练图片中的真值IB′；将图像IA和IB′作为成对图像输入人脸修复网络，训练时，IA作为输入图像输入网络的生成器G，生成图像为IA′，真值图像为IB′；最后将步骤S1中渲染的人脸图像输入训练后的人脸修复网络中，即可得到修复后的图像Iinp；S3：将步骤S2修复后的人脸图像进行人脸解析，获取语义分割图像，并检测人脸关键点，根据关键点位置截取眉毛以下的面部语义分割图像；S4：将人脸语义分割数据集中的语义分割图像根据步骤S3中的方法截取眉毛以下区域，作为语义分割补全网络的输入，原始语义分割图像作为真值，这两者作为成对训练图片，训练语义分割补全网络，生成人脸语义分割图像中的语义区域；将步骤S3中的截取语义分割图像使用语义分割补全网络补全；S5：将步骤S4中获取的完整人脸语义分割图像作为人脸生成网络的输入，获得与语义标签分布对应的合成人脸图像；S6：使用步骤S1获取的渲染人脸图像替换步骤S5得到的合成人脸图像的对应区域，并进行图像融合，得到最终换脸后的图像。

全文数据：

权利要求：

百度查询： 南京大学 一种基于三维人脸形变模型的人脸图像生成方法