买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京邮电大学

摘要：一种基于潜在空间嵌入扩展的真实图像重建方法，首先有监督地训练一个域内引导编码器，将给定的图像映射到StyleGAN的固有潜在空间中，其中引入像素损失用来保持视觉质量，使编码后的潜码在像素域进行对齐；引入感知损失，用来引导逆向映射的潜码降落到StyleGAN空间的语义域内，使编码后的潜码在语义域内进行对齐。为了进一步提高重构图像的质量，提出了嵌入优化算法，实现StyleGAN潜在空间的扩展，将域内引导编码器的输出作为初始值进行优化，来微调编码器产生的潜码，实现真实图像的高准确性逆映射。本方法可以解决真实图像逆向映射后重构图像质量不高、不能够通过改变重构后的潜码进行语义编辑的问题，能高度还原真实图像，并且能通过改变潜码进行准确的语义操纵。

主权项：1.一种基于潜在空间嵌入扩展的真实图像重建方法，其特征在于：所述方法包括如下步骤：步骤1，获取训练图像数据集与预处理，同时得到图像的标签；步骤2，将步骤1中得到的训练图像数据和标签输入建立的域内编码器网络进行训练，其过程包括：步骤21，图像逆映射：用ResNet50做为编码器的主要结构，对输入的图像进行编码，得到的潜码维度与图像的标签维度一致；步骤22，图像重构：把生成的潜码送入到预训练好的StyleGAN2生成器中，得到重构后的图像；步骤23，编码器训练：联合输入图像和重构图像的感知损失、逐像素损失和潜码之间的L2范数损失来优化编码器网络；对于感知损失 其中I1是输入图像，I2是编码后的潜码w通过StyleGAN2生成的重构图像，I1、I2∈Rn×n×3，Fj分别为VGG16的conv1_1、conv1_2、conv3_2和conv4_2层输出，Nj是第j层输出的标量数，λj＝1；对于MSE损失，如下： 其中I1∈Rn×n×3是输入图像，G是预训练的StyleGAN2的生成器，N是图像中标量的个数N＝n×n×3，w是要优化的潜码；真实潜码和编码后的潜码的L2范数损失，表示为 总的损失函数为 步骤3，将真实图像输入到训练后的域内编码器网络中，得到真实图像的潜码，并把此潜码当做嵌入对抗优化算法初始值，进行迭代优化，最后得到输入图像的重构；嵌入对抗优化过程如下：从预训练好的ResNet50域内编码器生成的潜码w开始，搜索优化的矢量w*，通过最小化输入真实图像与w*生成的重构图像之间的感知损失和逐像素损失，来迭代优化潜码。

全文数据：

权利要求：

百度查询： 南京邮电大学 一种基于潜在空间嵌入扩展的真实图像重建方法