买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：哈尔滨工业大学

摘要：兼具身份保持和编辑灵活性的人脸定制化生成方法，属于图像生成领域。解决了传统人脸定制化生成的方法难以同时实现身份特征的保留和图像内容的高度可编辑性的问题。本发明基于由身份提取模块、身份适配模块和文生图模块构成的噪声预测模块实现噪声预测；训练阶段引入解耦损失编辑方向损失和重建损失对身份提取模块、身份适配模块进行训练，保证模型学习忠实的身份特征提升定制化图像的可编辑性；推理阶段身份提取模块将待定制人脸图像作为输入得到身份特征，文生图模块通过身份适配模块在身份特征中引入预设隐空间噪声、人脸描述文本，形成包含定制化图像信息的预测噪声，从预测噪声中剔除预设隐空间噪声后进行解码，得到定制化图像。

主权项：1.兼具身份保持和编辑灵活性的人脸定制化生成方法，其特征在于，该方法基于由身份提取模块、身份适配模块和文生图模块构成的噪声预测模块实现；该方法包括如下步骤：S1、构建的训练样本：对输入图像进行裁剪得到人脸图像，对人脸图像进行图像增广，得到人脸增广数据集；对输入图像进行编码后添加预设噪声，得到隐空间噪声；由输入图像、人脸增广数据集中的任意一张人脸图像、隐空间噪声、人脸描述文本和编辑方向文本对形成一个训练样本；编辑方向文本对包括源描述文本和目标描述文本；S2、利用各训练样本对噪声预测模块进行训练，获得训练后的噪声预测模块：身份提取模块对各训练样本中的人脸图像进行身份特征提取，提取到的身份特征通过身份适配模块进行编码，得到原始身份编码；对原始身份编码进行增广，得到增广身份编码；文生图模块根据各训练样本所对应的原始身份编码、隐空间噪声和人脸描述文本生成原始预测噪声；还根据各训练样本所对应的增广身份编码、隐空间噪声和人脸描述文本生成增广预测噪声；还根据各训练样本所对应的隐空间噪声和编辑方向文本对生成无人脸信息的源预测噪声和无人脸信息的目标预测噪声；还根据各训练样本所对应的隐空间噪声、编辑方向文本对和人脸图像生成有人脸信息的源预测噪声和有人脸信息的目标预测噪声；根据各训练样本所对应的预设噪声和原始预测噪声，获取重建损失根据各训练样本所对应的增广预测噪声和原始预测噪声，获取解耦损失根据各训练样本所对应的所有源预测噪声和目标预测噪声，获取编辑方向损失根据重建损失、解耦损失和编辑方向损失，利用梯度下降算法对身份提取模块和身份适配模块进行参数更新，从而完成对噪声预测模块的训练；S3、将待定制人脸图像、预设隐空间噪声、人脸描述文本输入至训练后的噪声预测模块生成预测噪声，从该预测噪声中剔除预设隐空间噪声后进行解码，得到定制化图像。

全文数据：

权利要求：

百度查询： 哈尔滨工业大学 兼具身份保持和编辑灵活性的人脸定制化生成方法