买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京航空航天大学

摘要：本发明涉及一种基于单张人脸图像的三维漫画模型自动生成方法及系统，其方法包括：S1：基于同一身份的人脸图像构建对应的漫画图像和含纹理的三维漫画模型，形成漫画数据集；S2：将含纹理的三维漫画模型输入基于图卷积自编码器，获得三维漫画模型的几何和纹理表示；S3：将人脸图像输入ResNet网络，得到面部姿态向量和三维漫画模型的几何和纹理表示的向量；S4：将三维漫画模型的几何和纹理表示的向量利用解码器得到生成的三维漫画模型，利用面部姿态向量将生成的三维漫画模型转换到与人脸图像相同的面部姿态，并使用可微分渲染器对生成的三维漫画模型进行渲染。本发明提供的方法，可以高效快速的生成具有夸张几何和丰富纹理风格的三维漫画模型。

主权项：1.一种基于单张人脸图像的三维漫画模型自动生成方法，其特征在于，包括：步骤S1：基于同一身份的人脸图像构建对应的漫画图像和含纹理的三维漫画模型，形成漫画数据集，所述人脸图像和漫画图像具有相同的面部姿态；步骤S2：将所述含纹理的三维漫画模型输入基于图卷积自编码器，所述自编码器包含具有网格卷积操作和网格采样操作的编码器和解码器，利用所述图卷积自编码器对所述含纹理的三维漫画模型进行编码，获得三维漫画模型的几何和纹理表示，具体包括：步骤S21：定义每个网格顶点的属性信息为{x,y,z,r,g,b}，其中，x,y,z为所述网格顶点的三维坐标，r,g,b为所述网格顶点对应的RGB颜色值；步骤S22：将所述含纹理的三维漫画模型定义为：F=V，A；其中，V为n个所述网格顶点的集合；A为用稀疏邻接矩阵表示的边，以表示所述网格顶点之间的连接关系，，根据A中元素值表示所述边的连接情况，当网格顶点i和网格顶点j处于连接状态时，否则；步骤S23：对所述稀疏邻接矩阵A进行计算得到拉普拉斯矩阵L=D-A，其中，L为拉普拉斯算子；D为每个所述网格顶点的度；其中，拉普拉斯算子L为实对称矩阵，通过傅立叶基对其对角化为，其中，U的列向量是正交的，对角化后的L是具有非负实特征值的对角矩阵；对网格顶点x进行图傅立叶变换，经过逆傅立叶变换得到；步骤S24：将卷积运算符在傅立叶空间中定义为哈达马积；设计由k阶切比雪夫多项式参数化的滤波器，如公式1所示： 1其中，为缩放的拉普拉斯矩阵，；参数是切比雪夫的系数，它是一个向量；是k阶切比雪夫多项式，，它由公式2计算得到： 2初始化为,；将所述网格卷积定义为如下公式3： 3其中，输入是具有6个特征的网格顶点，每个卷积层有个切比雪夫系数向量，是需要训练的参数；输出，是具有6个特征的位置重构后的网络顶点；步骤S25：对所述网格进行下采样，将顶点数量众多的网格降采到一个规模小顶点的网格，将被去除的所述网格顶点的索引记录在矩阵；其中，的形式记录去除和保留的顶点索引，是保留下来的顶点，是去除的顶点；再对所述网格进行上采样，恢复到初始输入的网格顶点的格式；其中，根据矩阵，得到相应的矩阵；其中，计算与所述最近的三个顶点，计算重心坐标，其中，可以得到，，，通过矩阵来恢复去除的顶点；步骤S26：将所述网格卷积和网格采样组合起来作为一个卷积采样操作，所述编码器包含若干个卷积上采样操作，所述图卷积自编码中的解码器构成为若干个卷积下采样操作，将所述含纹理的三维漫画模型输入到所述编码器得到一个潜在向量作为三维漫画模型的几何与纹理表示，将潜在向量送入所述解码器还原为含纹理的三维漫画模型；同时，损失函数为输入的所述网格顶点与输出重构的网格顶点的L1损失；步骤S3：将所述人脸图像输入ResNet网络，得到面部姿态向量和三维漫画模型的几何和纹理表示的向量；步骤S4：将所述三维漫画模型的几何和纹理表示的向量利用所述解码器进行解码，得到生成的三维漫画模型，利用所述面部姿态向量将所述生成的三维漫画模型转换到与所述人脸图像相同的面部姿态，并使用可微分渲染器对所述生成的三维漫画模型进行渲染；同时，构建像素损失函数和面部特征点损失函数以约束端到端的网络训练。

全文数据：

权利要求：

百度查询： 北京航空航天大学 基于单张人脸图像的三维漫画模型自动生成方法及系统