买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华南理工大学

摘要：本发明公开了一种基于代理引导域适应的外观保持的人脸图像动漫化方法，创新性地使用二次元角色扮演者coser的人脸图像数据集Coser作为代理，并结合动漫人脸图像数据集Anime与自然人脸图像数据集Natural；提出一种混合coser与自然人脸图像的数据增强方法构造增强人脸图像数据集Aug‑Portrait；提出一个二阶段的无监督图像翻译模型，即脸型变形与图像动漫风格化；在双向一致训练框架上，提出多路复用训练方案与3个结合动漫图像先验的损失函数；模型能够实现真实人脸图像的外观保持的动漫化。本发明实现了人物原型个性化外观特征保持的人脸图像动漫化，提高了生成动漫图像的质量；通过收集更多人脸图像，本发明能够被应用到任意的真实人脸图像领域。

主权项：1.基于代理引导域适应的外观保持的人脸图像动漫化方法，其特征在于，包括以下步骤：1数据准备使用二次元角色扮演者coser的人脸图像作为代理，并收集大量coser人脸图像；收集了另外2个领域的图像，包括：动漫人物图像、自然人物图像；对全部图像作人脸检测、裁剪、关键点标注的预处理后，分别得到每个领域的人脸图像数据集，即：coser人脸图像数据集Coser、动漫人脸图像数据集Anime、自然人脸图像数据集Natural；最后对Natural随机划分训练集与测试集；2增强人脸图像提出一个以Coser作为代理引导域适应学习的方法来提高模型鲁棒性，从而使模型的保持外观特征的动漫化能力能够被泛化应用到自然人脸图像上；具体地，该方法是一种混合coser人脸图像与自然人脸图像的数据增强方法，基于Coser与Natural的训练集构造一个新的增强人脸图像数据集Aug-Portrait，其构造每个增强样本的具体步骤如下：2.1随机采样coser人脸图像与自然人脸图像其中，是实数域，H和W分别指图像高度与宽度，下标p指两类图像均为真实人脸图像，上标cos和nat分别指图像属于数据集Coser与Natural；记两张图像对应的关键点分别为：和其中，分别表示的脸型、左眉毛、右眉毛、左眼、右眼、鼻子、嘴巴的关键点，分别表示的脸型、左眉毛、右眉毛、左眼、右眼、鼻子、嘴巴的关键点，68是指关键点的数量，2是每个关键点由横坐标与纵坐标唯一确定；2.2根据围成闭合多边形区域，抠出的面部区域根据围成闭合多边形区域，填充闭合区域得到coser人脸图像面部区域的掩码2.3根据两组关键点和使用薄板样条采样TPS预测从到的密集形变场对变形即重采样得到脸部结构与对齐的自然人脸图像面部区域2.4使用掩码过滤多余的部分，替换上掩码指示的面部区域，得到增强后的人脸图像3模型构建提出一个二阶段的无监督图像翻译模型，将人脸图像动漫化任务分为2个目标更清晰的子任务：脸型变形与图像动漫风格化，并分别设计了关键点变形网络LDN与人脸图像风格化网络PSN，提高生成动漫图像的质量；基于coser人脸图像数据集Coser、动漫人脸图像数据集Anime、自然人脸图像数据集Natural的训练集和增强人脸图像数据集Aug-Portrait训练此模型；4模型优化在CycleGAN的双向一致训练框架基础上，提出一个针对不同类型的人脸图像应用不同损失函数的多路复用训练方案，此外，结合动漫图像的专家先验，提出3个新的目标损失函数，进一步提高模型生成动漫图像的质量；得到一个优化的二阶段的无监督图像翻译模型；5人脸图像动漫化对给定的人脸图像，检测人脸轮廓的关键点；将图像与关键点输入优化后的二阶段的无监督图像翻译模型，输出对应的能够保持图像中人物原型的外观特征的动漫人脸图像。

全文数据：

权利要求：

百度查询： 华南理工大学 基于代理引导域适应的外观保持的人脸图像动漫化方法