买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：天津科技大学;争上游数字科技有限公司

摘要：本发明提供了一种Retinex卷积神经网络及低光图像增强的方法，属于图像处理与图像分析的技术领域。以Retinex理论为背景，将深度学习框架作为基础，利用卷积神经网络搭建了网络结构，提供了低光图像增强的网络模型及训练流程，解决了低光图像颜色失真、细节丢失、网络结构复杂等问题。本发明将Retinex理论与卷积神经网络相结合，通过对反射率和照度分别利用卷积来提取图像特征使增强后的图像细节突出、亮度自然、色彩真实。本发明能够获得低光图像的真实信息并能进一步优化低光图像的细节，解决了低光图像包括噪声、细节丢失等的增强问题，在安全与监控、夜间摄影、医疗影像以及军事和航空等领域具有很好的应用潜力和价值。

主权项：1.一种Retinex卷积神经网络，其特征在于，该网络是基于Retinex理论将图像分解为反射率图和照度图并结合卷积神经网络搭建的，其功能是用于解决低光图像的高质量增强问题，不仅对全局和局部信息进行学习、融合还对其光照变化、对比度进行自适应调整，获得细节突出、亮度自然和色彩真实的清晰图像；该网络是由图像分解模块、反射率恢复模块、照度调节模块和图像融合模块共同构成的，其所实现的功能分别为“将待处理的图像分解为反射率图和照度图”、“恢复出图像中的反射率信息”、“调整图像整体的光照强度”、“恢复后的反射率图和照度图进行融合得到最终图像”；所述的图像分解模块含有两个输入和四个输出，所述的两个输入分别为输入1和输入2，其中的前者为待处理的图像而后者为与输入1相对应的正常光图像，所述的四个输出分别为输出“L-2”、“L-1”、“R-2”和“R-1”，其含义分别为“正常光图像的照度图”、“待处理图像的照度图”、“正常光图像的反射率图”、“待处理图像的反射率图”；所述的反射率恢复模块含有三个输入和一个输出“RR”，所述的三个输入分别连接着所述图像分解模块的输出“L-1”、“R-2”和“R-1”，所述的输出“RR”的物理含义为“待处理图像重建后的反射率图”；所述的照度调节模块含有四个输入和一个输出“LL”，所述的四个输入分别连接着所述图像分解模块的输出“L-2”、“L-1”以及所述的输入1和输入2，所述的输出“LL”的物理含义为“待处理图像调整后的照度图”；所述的图像融合模块含有三个输入和一个输出，所述的三个输入分别连接着所述照度调节模块的输出“LL”、所述反射率恢复模块的输出“RR”以及所述图像分解模块的输出“R-1”，所述的输出的物理含义为“待处理图像经过调整后的最终输出图像”；所述的图像分解模块是由图像分解网络A、图像分解网络B和图像分解网络优化器共同构成的，所述的图像分解网络A和图像分解网络B具有完全相同的结构和功能，其所实现的功能为“将图像通过卷积神经网络分解为反射率图和照度图”；所述的图像分解网络A含有一个输入和两个输出，所述的一个输入为所述图像分解模块的输入1，所述的两个输出为输出R-1和输出L-1；所述的图像分解网络B含有一个输入和两个输出，所述的一个输入为所述图像分解模块的输入2，所述的两个输出为输出R-2和输出L-2；所述的图像分解网络优化器含有六个输入和两个隐式输出，所述的六个输入分别连接着所述图像分解网络A的两个输出、所述图像分解网络B的两个输出以及所述图像分解模块的输入1和输入2，所述的两个隐式输出分别用于隐式优化所述图像分解网络A和图像分解网络B的网络参数；所述的图像分解网络A和图像分解网络B具有完全相同的结构和功能，其均含有一个输入和两个输出，所述的两个输出为输出R和输出L，其物理含义分别为“输入图像分解后得到的反射率图”和“输入图像分解后得到的照度图”，分别与所述的输出R-1、输出R-2以及与所述的输出L-1、输出L-2相对应；所述的图像分解网络A和图像分解网络B均是由依次串联的运算层L1、连接层F1、卷积层A1、Relu激活函数层R1、卷积层A2、卷积层A3、Relu激活函数层R2、卷积层A4、Relu激活函数层R3、卷积层A5、Relu激活函数层R4、转置卷积层E1、Relu激活函数层R5、连接层F2、卷积层A3、Relu激活函数层R6、连接层F3、卷积层A3和卷积层A6，以及Sigmoid激活函数层S1和Sigmoid激活函数层S2构成；所述的运算层L1含有一个输入和一个输出，其输入即为所述图像分解网络A、图像分解网络B的输入，所实现的功能为取最大值运算，其含义为“在给定的张量中找到最大值”，所述的取最大值运算采用了Tensorflow框架中的reduce_max算法；所述的卷积层A6含有一个输入和一个输出，所述的Sigmoid激活函数层S1的输入连接着所述卷积层A6的输出的前三个通道的数值而其输出即为所述的输出R，所述的Sigmoid激活函数层S2的输入连接着所述卷积层A6的输出的第四个通道的数值而其输出即为所述的输出L；所述的连接层F1含有两个输入和一个输出，所述的两个输入分别为所述运算层L1的输出以及所述运算层L1的输入；所述的连接层F2含有两个输入和一个输出，所述的两个输入分别为所述Relu激活函数层R5的输出和所述Relu激活函数层R2的输出；所述的连接层F3含有两个输入和一个输出，所述的两个输入分别为所述Relu激活函数层R6的输出和所述Relu激活函数层R1的输出；所述的连接层F1、连接层F2、连接层F3具有相同的结构和功能，其所具有的结构为“两个输入张量和拼接通道维度的选择”，其功能为对其两个输入执行维度拼接操作，所述的维度拼接的含义为“将两个输入张量沿着颜色通道维度叠加在一起”，所述的维度拼接操作采用Tesnsorflow框架的concat算法实现；所述的卷积层A1、卷积层A2、卷积层A3、卷积层A4、卷积层A5和卷积层A6具有完全相同的结构，所述的结构所拥有的结构参数包括卷积核个数、卷积核大小、卷积核的填充方式和卷积核的步长以及卷积核元素间隔，其所实现的功能为“实现对其输入的特征图进行特征提取，其输出为对其输入执行特殊卷积处理后得到的特征图”；所述卷积层A1、卷积层A2、卷积层A3、卷积层A4、卷积层A5、卷积层A6的差别体现在其具有不同的“卷积核数量”、“卷积核大小”、“卷积核的步长”、“卷积核的填充方式”、“卷积核元素间隔”的结构构建参数；所述的转置卷积层E1的结构的构建参数为卷积核的数量、卷积核大小、卷积核的步幅和卷积核的填充方式，所实现的功能为恢复输入图像的相关细节信息；所述的Relu激活函数层R1、Relu激活函数层R2、Relu激活函数层R3、Relu激活函数层R4、Relu激活函数层R5和Relu激活函数层R6具有相同的结构和功能，其所拥有的结构为“是一种简单的非线性函数，若输入大于0时则输出即为输入，所输入小于0时输出即为0”，所实现的功能为“增强神经网络的表征能力和解决梯度消失问题”，其构建采用了修正线性单元激活函数进行处理；所述的Sigrnoid激活函数层S1、Sigmoid激活函数层s2的结构为“是一种非线性函数”，其所拥有的功能为“将输入映射到0，1区间”，其构建采用了Sigmoid激活函数进行激活处理；所述的图像分解网络优化器由图像分解网络损失函数和优化器依次串联构成；所述的损失函数为 其中的Il、Rl、Ll分别表示输入的待处理低光图像及其经过所述图像分解网络A处理后的得到的反射率图和照度图，Ih、Rh、Lh分别表示与Il相对应的正常光图像及其经过所述图像分解网络B处理后的得到的反射率图和照度图，||·||1表示L1范数，表示相乘，表示水平和垂直方向的一阶导数算子，M表示C为控制形状的参数，exp表示指数函数，η、ω、ζ、ε为损失函数权重参数，其物理含义为“表示神经网络学习过程中网络模型对输入特征的相对重要性”；所述的损失函数兼顾了图像的重构损失反射率相似性损失ω||Rl-Rh||1、光照平滑度损失和信息相互一致性损失所述的优化器根据所述损失函数LLD的值进行优化，所采用的优化规则为使所述图像分解网络A、图像分解网络B的所有神经元的梯度整体下降收敛；所述的反射率调节模块由反射率恢复网络与反射率恢复网络优化器依次串联构成，所述的反射率恢复网络含有两个输入和一个输出RR，所述的两个输入分别为图像分解模块的输出“R-1”和图像分解模块的输出“L-1”，所述的输出RR的物理含义为“待处理图像经过重建后的反射率图”；所述的反射率恢复网络优化器含有两个输入和一个隐式输出，所述的两个输入为所述的输出RR和输入R-2，所述的输入R-2和所述图像分解模块的输出“R-2”相对应；所述的一个隐式输出用于优化所述反射率恢复网络的网络参数；所述的反射率恢复网络由连接层F4、特征提取层F1、池化层P1、特征提取层F2、池化层P1、特征提取层F3、池化层P1、特征提取层F4、池化层P1、特征提取层F5、上采样连接层U1、特征提取层F6、上采样连接层U2、特征提取层F7、上采样连接层U3、特征提取层F8、上采样连接层U4、特征提取层F9、卷积层B6、Sigmoid激活函数层依次串联构成；所述的连接层F4与所述的连接层F1、连接层F2、连接层F3具有完全相同的结构和功能，其含有两个输入和一个输出，所述的两个输入为所述的输入R-1和输入L-1；所述的上采样连接层U1含有两个输入和一个输出，所述的两个输入分别连接着所述的特征提取层F5的输出和所述特征提取层F4的输出；所述的上采样连接层U2含有两个输入和一个输出，所述的两个输入分别连接着所述的特征提取层F6的输出和所述特征提取层F3的输出；所述的上采样连接层U3含有两个输入和一个输出，所述的两个输入分别连接着所述的特征提取层F7的输出和所述特征提取层F2的输出；所述的上采样连接层U4含有两个输入和一个输出，所述的两个输入分别连接着所述的特征提取层F8的输出和所述特征提取层F1的输出；所述的Sigmoid激活函数层与Sigmoid激活函数层S1和Sigmoid激活函数层S2具有相同的结构和功能，其输出即为所述反射率恢复网络的输出RR；所述的特征提取层F1、F2、F3、F4、F5、F6、F7、F8、F9具有相同的结构，其均由卷积层、LeakyRelu激活函数层、卷积层和LeakyRelu激活函数层依次串联构成且含有一个输入和一个输出；所述特征提取层F1和F9、特征提取层F2和F8、特征提取层F3和F7、特征提取层F4和F6、特征提取层F5的结构内的卷积层分别为卷积层B1、卷积层B2、卷积层B3、卷积层B4和卷积层B5，所述卷积层的结构的构建参数为卷积核个数、卷积核大小、卷积核的步长和卷积核元素间隔大小，其功能为利用其结构对所输入的数据提取特征，然后通过Leakyrelu激活函数引入非线性使网络更好的学习输入数据中的特征表示；所述的卷积层B1、B2、B3、B4和B5的差别体现在其具有不同的“卷积核个数”构建参数；所述的LeakyRelu激活函数层所拥有的结构为“一种修正线性单元”，其所实现的功能为“防止梯度消失”，其构建采用了带泄露修正线性单元函数进行激活处理；所述的卷积层B6和所述的卷积层B1、卷积层B2、卷积层B3、卷积层B4和卷积层B5具有相同的结构和功能；所述的上采样连接层U1、U2、U3和U4具有相同的结构，所执行的是所述反射率恢复网络中的图像特征的跳跃连接操作，其功能是扩大感受野并获取丰富的特征表示，它们均是由权重层、转置卷积层和连接层依次串联构成的，含有两个输入和一个输出，为了描述方便将所述的两个输入分别称为输入T1和输入T2，其分别与所述特征提取层F5、F6、F7、F8以及所述特征提取层F4、F3、F2、F1相对应；所述上采样连接层U1、U2、U3和U4的差别体现在构建其结构的结构参数的不同包括“转置卷积核形状”、“输入的低分辨率特征图”和“输出的高分辨率特征图”等，所构建的结构内的权重层分别为权重层G1、权重层G2、权重层G3、权重层G4，所构建的结构内的转置卷积层分别为转置卷积层E2、转置卷积层E3、转置卷积层E4和转置卷积层E5；所述的权重层含有两个输入和一个输出，所述的两个输入分别连接着所述的输入T1和输入T2，其所实现的功能为“创建转置卷积核”，所述转置卷积核的构建参数包括转置卷积核形状，而其中的所述转置卷积核形状的构建参数分别为转置卷积核的池化核大小、池化核大小、所输出高分辨率特征图的通道数与和所输入低分辨率特征图的通道数，其中所述的高分辨率特征图的通道数与输入T1的通道数相对应，所述的低分辨率特征图的通道数与输入T2的通道数相对应；所述的转置卷积层含有三个输入和一个输出，所述的三个输入连接着所述权重层的输出以及所述的输入T1和输入T2，所述转置卷积层的结构构建参数为转置卷积核、低分辨率特征图、所需输出特征图的通道数，其中所述的转置卷积核对应权重层的输出，所述的低分辨率特征图与输入T1相对应，所述的所需输出特征图的通道数与输入T2的通道数相对应。所实现的功能为对输入T1执行转置卷积处理并输出与输入T2形状一致的张量；所述的连接层的功能是将所述转置卷积层的输出与所述的输入T2的通道数进行拼接；所述的连接层与所述连接层F1、连接层F2、连接层F3和连接层F4具有相同的结构和功能且含有两个输入和一个输出，所述的两个输入连接着所述转置卷积层的输出以及所述的输入T2；所述的池化层P1所实现的功能为有效地降低输入数据的维度并提取图像数据的重要特征，其构建参数包括池化窗口大小和填充方式，采用最大池化的方式处理数据，最大池化能够有效地降低数据维度和提取重要特征；所述的反射率恢复网络优化器由反射率恢复网络损失函数和优化器依次串联构成；所述的损失函数为 其中的的物理意义为待处理图像重建后的反射率图，与所述的反射率恢复模块的输出“RR”相对应；Rh的物理意义为正常光图像的反射率图，与所述的图像分解模块的输出“R-2”相对应；表示为平方误差损失，SSIM表示衡量结构相似度的指标，表示水平和垂直方向的一阶导数算子；wL与wH为权重系数且wLwH，其功能为分别加权弱光部分的区域损失和高光部分的区域损失，其中所述的弱光区域是通过取图像像素中最暗的前40％像素来划分的，所述的高光区域是通过取图像像素剩下的60％来实现的；mL、mH代表矩阵的行数；nL、nH代表矩阵的列数；||·||代表对矩阵元素取绝对值；分别为正常光图像的反射率图的弱光区域及其余的高光部分区域，其中与所述的图像分解模块的输出“R-2”的弱光区域相对应、与所述的图像分解模块的输出“R-2”的高光区域相对应；分别为恢复后反射率图的弱光区域及其余的高光部分区域，其中与所述的反射率恢复模块的输出“RR”的弱光区域相对应、与所述的反射率恢复模块的输出“RR”的高光区域相对应；μ、β、γ与Ω为损失函数权重参数；所述损失函数兼顾了反射率相似性损失结构相似性度量损失质地相似度损失区域损失所述的优化器根据所述损失函数LRR的值进行优化，所采用的优化规则为使所述反射率恢复网络的所有神经元的梯度整体下降收敛；所述的照度调节模块由特征映射模块、照度调节网络和照度调节网络优化器依次串联构成，其特征在于构建一种机制将图像特征由一种光照条件转换为另一种光照条件，所实现的功能为“可以根据不同需求灵活地调整光线等级”；所述的特征映射模块含有两个输入和一个输出，所述的两个输入为所述的输入1和输入2，所述的一个输出为输出T；所述的照度调节网络含有两个输入和一个输出，所述的两个输入分别为所述的输出T和输入L-1，所述的输入L-1与所述图像分解网络的输出“L-1”相对应，所述的一个输出为输出LL；所述的照度调节网络优化器含有两个输入和一个隐式输出，所述的两个输入分别为所述的输出LL和输入L-2，所述的输入L-2与所述图像分解模块的输出“L-2”相对应，所述的一个隐式输出用于优化所述照度调节网络的网络参数；所述的特征映射图模块是由运算层L2和特征矩阵层依次串联构成，所述的运算层L2含有两个输入，分别为所述的输入1和输入2，其功能为对所述的输入1和输入2执行像素级除法并取均值操作，计算光源光Ls输入1与目标光Lt输入2的强度比，强度比为一个标量，含义是用于估计两个图像之间的相对强度的比率关系；所述的特征矩阵层的功能为根据所述运算层L2的输出并借助特征权重调控因子α来构建图像特征矩阵，所执行的是α与输出的相乘操作而获得其输出的图像特征映射图，所述的特征矩阵层输出的图像特征映射图与所述的输出T相对应；所述的照度调节网络是由连接层F5、卷积层C1、Leakyrelu激活函数层、卷积层C1、Leakyrelu激活函数层、卷积层C1、Leakyrelu激活函数层、卷积层C2、Leakyrelu激活函数层和Sigmoid激活函数层依次串联构成；所述的连接层F5与所述的连接层F1、连接层F2、连接层F3和连接层F4具有相同的结构和功能，其两个输入为所述的输入T和输入1，功能为“对输入T和输入1执行维度拼接操作”；所述的卷积层A1、卷积层A2、卷积层A3、卷积层A4、卷积层A5、卷积层A6、卷积层B1、卷积层B2、卷积层B3、卷积层B4、卷积层B5、卷积层B6、卷积层C1和卷积层C2具有相同的结构和功能，其差别体现在其具有不同的“卷积核数量”、“卷积核大小”、“卷积核的步长”、“卷积核的填充方式”、“卷积核元素间隔”的结构构建参数；所述的Sigmoid激活函数层与Sigmoid激活函数层S1和Sigmoid激活函数层S2具有相同的结构和功能；所述的照度调节网络优化器由照度调节网络损失函数和优化器依次串联构成；所述的损失函数为 其中的为所述照度调节网络的输出，含义为“待处理图像经过照度调节模块输出的照度图”，其与所述的输入LL相对应，Lt可以为Lh或Ll，此处将Lt目标光看作Lh，Lt与所述的输入L-2相对应，含义为“正常图像的照度图”，代表L2范数的平方值，表示水平和垂直方向的一阶导数算子；所述的损失函数充分融合了其输入之间的均方误差损失梯度均方误差Ф与λ为所述损失函数的权重参数；所述的优化器根据所述损失函数LIA的值进行优化，所采用的优化规则为使所述照度调节网络的所有神经元的梯度整体下降收敛；所述的图像融合模块由降维层、图像灰度化层、图像去噪处理层、运算层L3、运算层L4、扩维层S1、扩维层S2、运算层L5与运算层L6依次串联构成，所述的降维层的输入为输入R-1，其与所述图像分解模块的输出“R-1”相对应，所述的运算层L5含有两个输入和一个输出，所述的两个输入分别为所述扩维层S2的输出和输入RR，所述的输入RR与所述反射率恢复模块的输出“RR”相对应，所述的运算层L6含有两个输入和一个输出，所述的两个输入分别为所述运算层L5的输出和输入LL，所述的输入LL与所述照度调节模块的输出“LL”相对应；所述降维层的功能是删除数组中的尺寸为1的维度，将所述的输入R-1执行降维操作后，输出一个所有维度都不为1的数组，但其余每个通道仍保留原始特征图的内容，但维度结构更加简单；所述的降维操作采用了Numpy库中的squeeze算法；所述的图像灰度化层的功能是对所输入的彩色图像执行灰度化操作，将颜色图像转换为灰色图像以便恢复亮度信息，所述的灰度化操作采用了SciPy库中的rgb2gray算法；所述的图像去噪处理层的功能是对所输入的特征图像进行去噪，所述的去噪采用的是高斯滤波去噪，其构建参数为高斯滤波的标准差，去噪采用SciPy库中的filters.gaussion算法实现：所述的运算层L3实现的是对高斯滤波去噪层输出的数组中的每一个元素乘2后再取平方根运算，所述的运算层L3的功能是对灰度图像进行复杂的数学变换来增强图像的对比度或亮度；所述的运算层L4实现的是对其输入执行取最小值运算，所述最小值运算的含义为“将运算层L3的输出结果与1逐元素进行比较，选择每个元素中的较小值”，所采用的算法为Numpy库中的minimum算法；所述的扩维层S1的功能是对所输入的数组在数组的第一个轴上进行扩展操作，将其在数组的最外层添加一个新的维度且扩展的那一维的维度为1，所述的第一个通道扩展的含义为“在数组的第一个轴增加一个新的维度以便于后续进行图像融合”，此时所述扩维层S1的输出为三维数组1，h，w；所述的扩展维度操作采用了Numpy库中的expand_dims算法；所述的扩维层S2的功能是对扩维层S1的输出再次进行维度扩展操作，所述的扩展操作是在第三个轴上添加一个新的维度且该维度长度为1，以便和其他图像进行融合，所述的第三个维度扩展的含义为“在数组的第三个轴增加一个新的维度以便于后续进行图像融合”，此时扩维层S2的输出为四维数组1，h，w，1；所述的扩展维度操作采用Numpy库中的expand_dims算法；所述的运算层L5、运算层L6具有完全相同的结构和功能，实现的是对其输入的图像融合操作，所述的图像融合操作的含义为“将两幅图像相乘以合成一幅综合了恢复细节和原始结构的新图像”，所采用的是像素级乘法的融合操作；所述的运算层L5将两幅图像进行像素级乘法融合；所述运算层L6的输出即为所述图像融合模块的输出，该输出即为与所述的输入1低光图像相对应的输出图像。

全文数据：

权利要求：

百度查询： 天津科技大学 争上游数字科技有限公司 一种Retinex卷积神经网络及低光图像增强方法