买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：杭州电子科技大学

摘要：本发明公开了一种基于自监督学习的非配对人脸图像翻译方法。本发明方法使用域解耦合的策略，通过独立的风格编码网络和内容编码网络分别得到风格特征和内容特征；并借助自适应归一化方法，在统一解码网络中对风格特征和内容特征逐步进行融合，最终得到图像翻译结果。针对非配对图像翻译问题，本发明提出了使用自监督学习将非配对的图像翻译任务转化为配对的图像编码翻译任务的方法，并继而通过成熟的配对图像翻译方法解决该问题；此外，针对人脸图像翻译问题，本发明提出了借助人脸画像之间面部组件的结构共性，通过构建人脸组件字典加强对人脸组件的图像翻译效果的方法。

主权项：1.一种基于自监督学习的非配对人脸图像翻译方法，其特征在于，包括如下步骤：步骤1、针对非配对的人脸图像翻译数据集，采用域解耦合的策略，设计两个独立的风格编码网络encoderS和内容编码网络encoderC，分别对风格图像S和内容图像C进行编码，得到风格编码s和内容编码c，并保证s和c具有相同的特征维度；步骤2、根据内容编码网络encoderC构建一个与之相对的解码网络decoder，并替换decoder中对应的归一化层为自适应归一化AdaIN层；风格编码网络encoderS、内容编码网络encoderC以及解码网络decoder构成图像翻译网络；步骤3、将内容编码c通过解码网络decoder进行传导，记作编码特征fi，并在解码网络的每一个自适应归一化层，利用自适应归一化方法，将传导过来的编码特征fi和风格编码s进行特征融合，得到新的编码特征fi-1，i表示当前编码特征f对应的上采样层的深度，在编码网络中i值随着特征传导逐渐增大，在解码网络中逐渐减小：fi-1＝AdaINfi，s＝σsfi-μfiσfi+μs其中μ·和σ·分别表示均值和标准差；利用基于人脸组件字典的组件约束对得到的新的编码特征fi-1中的人脸组件特征信息进行增强，通过解码网络的多次特征融合和特征解码，得到初步人脸图像翻译结果；步骤4、针对非配对的人脸图像翻译数据集，为了引导网络模型能够实现在非配对情况下的人脸图像翻译任务，需要进行约束，具体操作如下：利用自重建损失Lrec和循环重建损失Lcycrec，用内容图代替风格图作为重建风格，来约束图像翻译过程中内容特征的一致性：Lrec＝||C-GC，C||1Lcycrec＝||C-GGC，S，C||1其中Gx，y代表图像翻译网络，x代表内容图，y代表风格图；利用风格对比损失Lstycon来约束图像翻译过程中风格特征的独立性： 其中代表翻译结果的风格特征，q+代表目标风格类型对应的风格字典，代表其他风格类型对应的风格字典，k为负样本类型，τ为温度超参数；利用生成对抗网络和对抗损失来约束图像翻译的感知质量：Ladv＝logDC+log1-DC，s其中D表示生成对抗网络中的判别网络。

全文数据：

权利要求：

百度查询： 杭州电子科技大学 一种基于自监督学习的非配对人脸图像翻译方法