买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京邮电大学

摘要：本发明公开了一种基于生成对抗网络的灰度图像彩色化方法，该方法首先选取COCO图像数据集中的定量彩色图片组，去色处理后制作成训练集，其次构建生成对抗网络架构，使得生成器模型在其中完成预训练，然后对判别模型和经过预训练的生成模型进行交替训练，调整参数，得到训练好的模型，再将测试数据输入模型后可实现灰度图像彩色化。本发明通过对生成器的预训练方法和过程，使得训练方法和数据集优化上拥有极大的提升，能够保证训练质量和最终生成图像的泛化质量的基础上，极大缩短训练时长，具灵活性；且利用U‑Net的思想，在COCO数据集上训练和测试，能极大程度的减少传统方法需要人工干预且难以进行大尺寸图像像素级别的精细上色工作的弊端。

主权项：1.一种基于生成对抗网络的灰度图像彩色化方法，其特征在于，具体按照如下步骤实施：A、选取COCO图像数据集中的定量彩色图片组，进行去色处理，制作成训练集；B、构建生成对抗网络架构，包括生成模型和判别模型，所述生成模型是Resnet18骨干网络经过预训练后形成的；步骤B中所述预训练过程如下：1用ResNet骨干构建U-net，加载ResNet18架构的预训练权重，并切割模型以移除最后两层；2DynamicUnet通过使用Resnet骨架建立一个输出通道为2个L和ab、输入大小为256像素的U-net，作为初始生成器；3将灰度图像的L通道的数据输入所述初始生成器，计算生成器的损失L1G，将梯度归零；4反向传播计算得到每个参数的梯度值，通过梯度下降执行一步参数更新；在每一次训练中，不断更新损失函数，重复训练20次，将训练过后的网络作为生成器；C、将步骤A得到的训练集依次输入生成对抗网络架构中进行模型训练，调整参数，达到收敛；所述步骤C的具体过程为：C1、固定生成器，训练优化判别器：分别向判别器输入真实图像和生成器生成的虚假图像，通过实际输出与目标输出计算出判别损失，更新判别器参数；C2、固定判别器，训练优化生成器：将训练集训练图像的L通道输入生成器，生成与训练图像相同尺寸的虚假图像，向判别器输入该虚假图像，通过实际输出与目标输出计算出生成损失，更新生成器参数；C3、重复步骤C1和C2，将所述训练集进行20次迭代更新后，经过训练的模型即可实现灰度图像自动彩色化；在步骤C中利用条件生成对抗网络模型的损失函数、生成器损失函数、判别器损失函数计算生成对抗网络架构的损失函数，得到基于生成对抗网络模型最终的损失函数；所述条件生成对抗网络模型的目标函数为：LGANG,D＝Ex，y[logDx，y]+Ex，z[log1-Dx，Gx，z]，其中，LGANG,D表示真实图像与生成的虚假图像之间的程度差异，E表示数学期望，logDx，y表示判别器对真实图像判定为真实数据的概率，Gx，z表示生成的虚假图像，Dx，Gx，z表示判别模型对生成的虚假图像的判别结果，log1-Dx，Gx，z表示判别模型将生成的虚假图像判定为虚假图片的概率；训练生成模型使得目标函数最小化，而判别模型使得目标函数最大化，即：G*＝argminmaxLGANG,D+λL1G其中maxLGANG,D表示训练判别模型时保证生成模型部分不变，使得判别模型准确地判别生成的虚假图像，即使得1-Dx，Gx，z的值接近于1，最大化Ex，y[logDx，y]的值；minLGANG,D表示训练生成模型时保证判别模型部分保持不变，使得生成的虚假图像通过判别模型判断，即使得Dx，Gx，z的值接近于1，并且最小化Ex，z[log1-Dx，Gx，z]的值；式中λ为权重系数，用来调节生成模型的损失函数L1G的比重，从而得到更好的输出图像，L1G表示真实的图像与生成的图像之间的距离，定义为：L1G＝Ex，y，z[||y-Gx，y||1]式中，Gx,z表示生成的图像，y表示真实的图像，L1表示真实图像和生成的图像之间的信息重建过程；D、将待处理的图像进行预处理，输入步骤C得到的对抗模型可使灰度图像自动彩色化。

全文数据：

权利要求：

百度查询： 南京邮电大学 一种基于生成对抗网络的灰度图像彩色化方法