买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：哈尔滨工业大学

摘要：构建个性化皮影头茬属性编辑生成器的方法，涉及计算机图像生成领域。解决了现有基于深度学习的人脸到皮影头茬的翻译方法，难以平衡生成图像保持原图中人脸可辨识特征的同时，兼顾拥有皮影头茬的结构要求的问题。本发明方法先构建皮影头茬样本集和人脸侧脸样本集，再对其样本集中样本进行预处理获得一组训练样本，通过一组训练样本对侧脸中间特征编码器EC、语义风格编码器ES和风格融合生成器G进行训练，且训练过程中通过计算总损失对上述三者进行参数更新，完成图像生成器的训练。本发明主要应用在由人脸图像到皮影头茬图像的翻译中。

主权项：1.构建个性化皮影头茬属性编辑生成器的方法，其特征在于，生成器包括侧脸中间特征编码器EC、语义风格编码器ES和风格融合生成器G；该方法包括如下过程：S1、构建皮影头茬样本集和人脸侧脸样本集：皮影头茬样本集中每个样本包括皮影头茬图S和皮影头茬语义标注图Ms；人脸侧脸样本集中每个样本包括侧脸图F和侧脸掩模图MF；皮影头茬语义标注图Ms中包含8种类别风格，第一至第八种类别风格分别为背景、脸部、胡子、冠、盔、帽、巾和脖子；S2、样本预处理：先从皮影头茬样本集和人脸侧脸样本集中各随机抽取一个样本，得到皮影头茬图S、皮影头茬语义标注图Ms、侧脸图F和侧脸掩模图MF；再对皮影头茬语义标注图Ms、侧脸图F和侧脸掩模图MF进行预处理，相应的得到皮影头茬语义标注独热图脸部区域图F″和侧脸掩模对齐图M″F；最后将皮影头茬语义标注独热图中的脸部区域替换成侧脸掩模对齐图M″F，得到语义引导图语义引导图由8种类别风格所在区域的掩模图构成；得到皮影头茬语义标注独热图脸部区域图F″和侧脸掩模对齐图M″F的实现过程包括：S21、对皮影头茬语义标注图Ms进行独热分层处理得到皮影头茬语义标注独热图S22、利用侧脸掩模图MF对侧脸图F中的脸部区域进行遮罩操作后，再进行脸部缩放得到脸部区域缩放图F′，同时，还对侧脸掩模图MF进行等比例脸部缩放，得掩模缩放图M′F；S23、将脸部区域缩放图F′的聚类中心平移至步骤S21中所获得的皮影头茬语义标注独热图中脸部区域的聚类中心处，得到脸部区域图F″；将掩模缩放图M′F的聚类中心平移至步骤S21中所获得的皮影头茬语义标注独热图中脸部区域的聚类中心处，得到侧脸掩模对齐图M″F；S3、将步骤S2中得到的皮影头茬图S、脸部区域图F″、皮影头茬语义标注独热图和语义引导图作为一组训练样本；S4、设置迭代轮次上限为T、且t的初始值为1，t为迭代轮次；S5、在第t轮训练时，利用步骤S3得到的一组训练样本对生成器进行训练，具体为：S51、侧脸中间特征编码器EC对脸部区域图F″进行特征提取，获得人脸特征图z；同时，通过语义风格编码器ES在皮影头茬语义标注独热图的指导下，对皮影头茬图S进行风格提取，获得风格编码组合st；S52、风格融合生成器G用于对人脸特征图z添加噪声，并在语义引导图的指导下，对添加噪声后的特征图和风格编码组合st进行各种风格融合，生成融合图S′；S6、总损失计算及参数更新：将融合图S′分别与脸部区域图F″和皮影头茬图S进行对比分析，得到总损失L，并利用总损失L对侧脸中间特征编码器EC、语义风格编码器ES和风格融合生成器G进行参数更新；S7、判断t是否等于T，结果为否，令t＝t+1，执行步骤S2；结果为是，则完成对生成器的训练，实现对生成器的构建。

全文数据：

权利要求：

百度查询： 哈尔滨工业大学 构建个性化皮影头茬属性编辑生成器的方法