买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：同济大学

摘要：本发明公开了一种表情可编辑的人脸照片夸张化漫画的智能生成方法。我们创新性地提出了夸张化参数分析模块，分析人脸照片和参考漫画的情感、脸型及五官特点，自动匹配最合适的夸张化草图，基于三维夸张化方法对分割图进行夸张化，并支持液化表情编辑模块进行二次修改。生产夸张化分割图之后，我们将分割图与参考漫画作为输入，采用基于StyleGAN的方法进行风格转换，从而生成具有多种夸张风格，极具艺术性的漫画。本文的实验结果以及用户评测均证实了我们的系统简单有效，对比于现有漫画生成方法，我们第一个提出了对漫画整体与细节进行编辑，具有显著创新性和良好的效果。

主权项：1.一种表情可编辑的人脸照片夸张化漫画的智能生成方法，其特征在于，包括以下步骤：在漫画生成任务中，有照片域X和漫画域Y，目标是找到映射F:X→Y，将深度语义分割映射引入作为中间域Z＝{Zx,Zy}，其中，Zx表示照片语义分割图域，Zy表示漫画语义分割图域；S1，从照片中获取分割图，并通过夸张参数分析模块，对输入照片的情感信息，参考漫画的面部属性信息及几何组成进行分析，匹配到一张最合适的夸张化草图，用于夸张化网络；S2，根据分析结果，使用草图驱动的表情夸张化网络，该表情夸张化网络名为SketchExpCariNet，用于预测面部形变关键点，并以此为依据对面部分割图进行形变，得到夸张化的面部分割图；对于形变后的分割图，用户可使用基于液化算法的在线交互式编辑模块进行更加细化的编辑，该编辑包含轮廓编辑以及面部细节编辑；S3，使用夸张化分割图的风格转换网络，该风格转换网络为CariMaskStyGAN，基于StyleGAN方法，提取出参考漫画的纹理特征，由夸张化漫画分割图获得风格与参考漫画一致的漫画结果，完成夸张化面部分割图到漫画的转换；所述步骤S1，从照片中获取分割图，并通过夸张参数分析模块，对输入照片的情感信息，参考漫画的面部属性信息及几何组成进行分析，匹配到一张最合适的夸张化草图，用于夸张化网络，具体包括：S101，对输入的人脸照片进行语义分割：使用经典的人脸语义分割网络对照片进行语义分割，生成面部分割图；S102，对输入照片进行夸张参数分析：对照片的情感进行分类，对照片进行人脸表情到情感的量化解析，将人脸表情映射至人类七大情感之一，生成情感标签，解决照片与参考漫画的表情不一致问题；S103，对输入参考漫画的进行夸张特征分析：通过属性判别器判别脸型的局部信息，分析漫画面部的几何组成结构，从夸张化草图数据集中找出一个合适的夸张化草图；S104，通过投影获得每个3DMM参数向量对应的夸张化：在一个模板网格上预标签35个特征点，这些特征点定位于面部轮廓和面部特征的轮廓；由于所有的3D漫画都具有相同的拓扑结构，在每个网格上获得这些特征点，并将它们投射到2D平面上；通过连接这些2D面部特征点，制作10,000个夸张化草图；从而得到夸张化草图和相应的3DMM参数向量。

全文数据：

权利要求：

百度查询： 同济大学 一种表情可编辑的人脸照片夸张化漫画的智能生成方法