买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：长春理工大学

摘要：本发明属于计算机视觉中的图像彩色化技术领域，尤其为一种基于卷积和Transformer的红外图像彩色化方法，一种基于卷积和Transformer的红外图像彩色化方法，具体步骤为：步骤1，构建网络模型：红外图像彩色化模型是包括生成器和鉴别器的生成对抗网络；步骤2，准备数据集：对整个生成对抗网络先用红外图像数据集一进行训练；步骤3，训练网络模型：对红外图像数据集一进行预处理，将处理好的数据集输入到构建好的网络模型中进行训练。本发明方法引入了Transformer模型，Transformer模型可以捕获远距离的特征，从而能够轻松获取图像的全局信息，加强对图像深层信息的提取，增强着色图像的自然度和真实度。

主权项：1.一种基于卷积和Transformer的红外图像彩色化方法，其特征在于：具体步骤为：步骤1，构建网络模型：红外图像彩色化模型是包括生成器和鉴别器的生成对抗网络；生成器由局部特征提取模块、全局特征提取模块、特征融合模块一、特征融合模块二、特征融合模块三、特征重构模块一、特征重构模块二、特征重构模块三和输出块组成，用于实现红外图像到红外彩色化图像的转换；所述局部特征提取模块由卷积块一、卷积块二和卷积块三组成，以局部特征提取的方式对图片进行浅层特征提取，每一个卷积块由卷积、实例归一化、激活函数和池化组成；所述全局特征提取模块由Transformer模块一、Transformer模块二、Transformer模块三、Transformer模块四、Transformer模块五和Transformer模块六组成，以全局特征提取的方式提取图片远程深层次的语义信息，每一个Transformer模块由块嵌入、数组展平、位置编码和Transformer编码器组成，其中块嵌入由线性映射和层归一化组成，Transformer编码器由层归一化、空间缩减、多头注意和前馈网络组成；所述特征融合模块一、特征融合模块二和特征融合模块三分别将局部特征提取模块和全局特征提取模块获得的各尺度特征信息进行融合，使网络能够学习到更全面、更细致的语义信息和颜色信息，每一个特征融合模块由卷积、上采样和拼接操作组成；所述特征重构模块一、特征重构模块二和特征重构模块三分别接收来自特征融合模块三、特征融合模块二和特征融合模块一的融合后的特征信息，将接收到的特征信息进行解码进而重构输出图像，每一个特征重构模块由上采样、卷积、实例归一化和激活函数组成；所述输出块由卷积、归一化和激活函数组成，输出重建的彩色图像；鉴别器采用马尔可夫鉴别器，由卷积、归一化和激活函数组成，将生成器生成的红外彩色化图像与数据集中的可见光彩色图像输入鉴别器中，鉴别器输出真假概率信息判断输入图像是否真实；步骤2，准备数据集：对整个生成对抗网络先用红外图像数据集一进行训练；步骤3，训练网络模型：对红外图像数据集一进行预处理，将处理好的数据集输入到构建好的网络模型中进行训练；步骤4，选择最小化损失函数和最优评估指标：通过最小化网络输出图像与标签的损失函数，直到训练次数达到设定阈值或损失函数的值到达设定范围内即可认为模型参数已预训练完成，保存模型参数；同时选择最优评估指标来衡量算法的精度，评估系统的性能；步骤5，微调模型：用红外图像数据集二对模型进行训练和微调，得到稳定可用的模型参数；步骤6，保存模型：将最终确定的模型参数进行固化，之后需要进行红外图像彩色化操作时，直接将图像输入到网络中即可得到最终的着色图像。

全文数据：

权利要求：

百度查询： 长春理工大学 一种基于卷积和Transformer的红外图像彩色化方法