买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：合肥工业大学

摘要：本发明公开了一种指令控制的基于单张人脸图像的三维人脸动画生成方法，包括：1、搭建基于单张图像的三维人脸重建模块，输出三维人脸的UV纹理图、UV法线图、形状系数、表情及姿态系数，2、搭建多模态指令识别模块，输出目标面部动作单元特征向量、动作指令和幅度指令，3、搭建目标人脸三维模型系数生成模块，具体分为三维表情生成模块和插值模块，得到表情系数序列和姿态系数序列，4、搭建三维人脸动画生成模块，得到最终的动画生成结果。本发明能通过指令对人脸图像实现面部动作单元级别的精确控制，生成三维人脸动画，从而能提高三维动画制作效率，并能丰富其情感表达。

主权项：1.一种指令控制的基于单张人脸图像的三维人脸动画生成方法，其特征在于，包括如下步骤：步骤1，搭建基于单张图像的带纹理和细节的三维人脸重建模块，包括：三维人脸重建弱监督网络、纹理映射模块、细节重建网络：步骤1.1、在训练阶段，建立基于人脸关键点特征的三维人脸重建弱监督网络，并对人脸图像I进行处理，得到表情系数ψ、下颌姿态系数θjaw和三维人脸网格M；步骤1.2、建立纹理映射模块，并对I和M进行处理，得到UV纹理贴图TUV、UV位置贴图MUV和UV法线贴图NUV；步骤1.3、建立三维人脸模型的细节重建网络，并对I、表情系数ψ和下颌姿态系数θjaw、TUV、MUV和NUV进行处理，得到带细节的法线矩阵Nd；步骤1.4，在推理阶段，用步骤1.1搭建的基于人脸关键点特征的三维人脸重建弱监督网络对输入的源人脸图像I0进行处理，得到放缩尺度s0、平移参数t0、形状系数β0、姿态系数θ0和表情系数ψ0，再利用预训练好的FLAME模型的解码器对β0、θ0和ψ0进行处理，得到三维网格M0；按照步骤1.2-步骤1.3对I0和M0进行处理，得到I0对应的UV纹理贴图带细节的法线矩阵步骤2，搭建多模态指令识别模块，包括：音频-文本的转换网络、文本-指令转换网络和表情指令-面部动作单元映射模块：获取输入指令，若输入指令为音频模态，则执行步骤2.1-步骤2.3；若输入指令为文本模态，则执行步骤2.2-步骤2.3；若输入指令为图像模态，则表示输入指令为人脸驱动图像Iobj并执行步骤1.1，用搭建的网络得到人脸驱动图像Iobj的表情系数ψobj和姿态系数θobj，再执行步骤3.3；其中，ψobj为目标表情系数，θobj为目标姿态系数；且θobj是由目标下颌系数和目标颈部系数构成；步骤2.1、建立音频-文本的转换网络，并用于对音频模态的输入指令进行处理，输出对应的文本内容；步骤2.2、建立文本-指令转换网络，并用于对输入的文本指令进行处理，输出表情指令、动作指令和幅度指令；步骤2.3、建立表情指令-面部动作单元映射模块，并得到表情指令所对应的归一化的目标面部动作单元特征向量sAU；步骤3，搭建目标人脸三维模型系数生成模块，包括：三维表情生成网络和插值模块：步骤3.1、在训练阶段，建立基于C-GAN的三维表情生成网络，包括：表情特征生成器和表情特征判别器将训练数据集中任意一张图像的面部动作单元特征向量作为的条件，将随机向量z作为的输入，从而利用生成表情特征其中，表示生成的表情系数，表示生成的下颌姿态系数；将作为的条件，将训练数据集中任意一张图像的表情特征ζreal和分别作为的输入，从而利用输出ζreal真实性的概率和真实性的概率；步骤3.2、在推理阶段，将音频模态或文本模态的指令按照步骤2.3过程进行处理后，得到的sAU作为的条件，从而利用生成步骤3.3、构建插值模块，并对输入的动作指令和幅度指令进行处理，输出表情系数序列ψseq和姿态系数序列θseq；步骤4，搭建三维人脸动画生成模块：将β0、θseq、ψseq、和I0的UV纹理贴图作为输入，利用线性蒙皮函数和预训练的FLAME解码器求解β0、θseq和ψseq对应的三维模型，再通过神经渲染器输出带有目标幅度、目标表情和目标姿态的三维人脸动画。

全文数据：

权利要求：

百度查询： 合肥工业大学 指令控制的基于单张人脸图像的三维人脸动画生成方法