买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京理工大学

摘要：本发明公开的基于CycleGAN的热红外图像转类可见光彩色图像方法，属于基于生成对抗网络的图像处理领域。本发明实现方法为：根据数据库中的热红外图像和可见光图像的图像域转换信息，利用循环生成对抗网络CycleGAN的循环一致性损失，将热红外图像转彩色可见光图像和彩色可见光图像转热红外图像两个生成器联系起来，无需热红外图像‑彩色可见光图像的高精准配对，以达到热红外图像到类彩色可见光图像的无监督学习的目的。在生成器的网络中进一步地采用全卷积神经网络结构使得输入热红外图像的大小不受限制。本发明根据数据库中的热红外图像和可见光图像的图像域转换信息的学习，实现热红外图像的自然彩色渲染，提高观察的适应性、目标识别和探测的速度。

主权项：1.基于CycleGAN的热红外图像转类可见光彩色图像方法，其特征在于：包括如下步骤，步骤一：收集图像数据，建立红外与可见光对图像库，为后续网络学习训练提供基础训练和测试图像库，将数据集分为A域和B域，其中A域为热红外图像，B域为彩色可见光图像；每个数据库中均包含用于模型输入的热红外图像数据和对应作为模型输出的可见光彩色图像数据，实现制作用于训练的图像数据集；步骤二：根据数据库中的热红外图像和可见光图像的图像域转换信息，构造用于热红外图像至可见光彩色图像的生成对抗网络的第一生成器，构造用于可见光彩色图像至红外图像转换的第二生成器，基于所述第一生成器和第二生成器构造CycleGAN，利用循环生成对抗网络CycleGAN的循环一致性损失，将热红外图像转彩色可见光图像和彩色可见光图像转热红外图像两个生成器联系起来，无需热红外图像-彩色可见光图像的高精准配对，以达到热红外图像到类彩色可见光图像的无监督学习的目的；在生成器的网络中进一步地采用全卷积神经网络结构使得输入热红外图像的大小不受限制；此外，在生成器网络中所有卷积层的padding使用reflection-padding而非传统的zero-padding，从而减轻图像的伪影效应；第一生成器和第二生成器的构建不同于普适的U-net网络；由于热红外图像和可见光图像的成像方式不同导致图像信息的较大差异，生成器取消U-net网络的同级信息传递的方式，避免信息冗杂的产生；步骤二实现方法为，步骤2.1：根据数据库中的热红外图像和可见光图像的图像域转换信息，构造用于热红外图像至可见光彩色图像的生成对抗网络的第一生成器；根据数据库中的热红外图像和可见光图像的图像域转换信息，在第一生成器网络的设计当中使用卷积模块作为下采样，卷积残差模块作为特征提取，反卷积模块作为上采样，整体形成一个图像域转换神经网络的U型网络结构，即实现构造用于热红外图像至可见光彩色图像的生成对抗网络的第一生成器；步骤2.2：根据数据库中的可见光图像和热红外图像的图像域转换信息，构造用于可见光彩色图像至热红外图像的生成对抗网络的第二生成器；根据数据库中的可见光图像和热红外图像的图像域转换信息，在第二生成器网络的设计当中使用卷积模块作为下采样，卷积残差模块作为特征提取，反卷积模块作为上采样，整体形成一个图像域转换神经网络的U型网络结构，即实现构造用于可见光彩色图像至热红外图像的生成对抗网络的第二生成器；步骤2.3：基于所述第一生成器和第二生成器构造CycleGAN，利用循环生成对抗网络CycleGAN的循环一致性损失，将热红外图像转彩色可见光图像和彩色可见光图像转热红外图像两个生成器联系起来，无需热红外图像-彩色可见光图像的高精准配对，以达到热红外图像到类彩色可见光图像的无监督学习的目的；在生成器的网络中进一步地采用全卷积神经网络结构使得输入热红外图像的大小不受限制；此外，在生成器网络中所有卷积层的padding使用reflection-padding而非传统的zero-padding，从而减轻图像的伪影效应；第一生成器和第二生成器的构建不同于普适的U-net网络；由于热红外图像和可见光图像的成像方式不同导致图像信息的较大差异，生成器取消U-net网络的同级信息传递的方式，避免信息冗杂的产生；步骤三：构造彩色可见光图像域的细节判别器，通过所述细节判别器判别生成器生成图像的细节纹理与正常可见光图像细节问题差异；步骤三实现方法为，彩色可见光图像域的细节判别器架构基于下采样卷积神经网络；为了提高下采样卷积神经网络判别器对于图片中物体尺度的适应能力，避免当场景中物体过大或者过小时网络由于无法识别物体而转换失败，对卷积神经网络的训练过程进行改进，使用多尺度PatchGAN判别器；基于多尺度PatchGAN判别器，将输入图像进行多次下采样，不同尺度的图像，并将这多尺度的图像分别送入PatchGAN中进行计算，计算结果通过上采样得到的结果加权相加后作为判别器的最终输出，从而使得最终训练出来的PatchGAN能够在不增加模型复杂度的基础上提高对不同尺度物体的判别能，即通过所述细节判别器判别生成器生成图像的细节纹理与正常可见光图像细节问题差异；步骤四：构造用于判别生成器生成图像的色彩与正常可见光图像色彩差异的颜色判别器；步骤四实现方法为，颜色判别器的设计主体为卷积神经网络，在经过卷积神经网络的过程中，卷积滤波器能够很好的提取图像的高维特征；整个颜色判别器以卷积神经网络为基础建设，得以在较快的速度下，能够很好的反馈生成器生成图像的颜色的正确性；步骤五：构造热红外图像域的细节判别器，通过所述细节判别器判别生成器生成图像的细节纹理与正常热红外图像细节问题差异；步骤六：通过步骤二构建的第一生成器、第二生成器，步骤三构造的彩色可见光图像细节判别器，步骤四构造的彩色可见光图像的颜色判别器和步骤五构造的热红外图像判别器组成CycleGAN；根据步骤一得到的数据库中的热红外图像和可见光图像的图像域转换信息的学习，利用循环生成对抗网络CycleGAN的循环一致性损失，将热红外图像转彩色可见光图像和彩色可见光图像转热红外图像两个生成器联系起来，进行对抗训练，实现热红外图像的自然彩色渲染；步骤五实现方法为，热红外图像域的细节判别器架构基于下采样卷积神经网络；为了提高下采样卷积神经网络判别器对于图片中物体尺度的适应能力，避免当场景中物体过大或者过小时网络由于无法识别物体而转换失败，对卷积神经网络的训练过程进行改进，使用多尺度PatchGAN判别器；基于多尺度PatchGAN判别器，将输入图像进行多次下采样，不同尺度的图像，并将这多尺度的图像分别送入PatchGAN中进行计算，计算结果通过上采样得到的结果加权相加后作为判别器的最终输出，从而使得最终训练出来的PatchGAN能够在不增加模型复杂度的基础上提高对不同尺度物体的判别能，即通过所述细节判别器判别生成器生成图像的细节纹理与正常可见光图像细节问题差异。

全文数据：

权利要求：

百度查询： 北京理工大学 基于CycleGAN的热红外图像转类可见光彩色图像方法