买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明涉及计算机视觉技术领域，并具体公开了融合交叉混合注意力和感受野扩张的低光照图像增强方法，包括：初始模块、优化模块、细节恢复三个部分；在初始模块，使用2个不同的U型网络，经过多层卷积，将图像分解为反射分量和光照分量；在优化网络模块，利用多尺度光照机制，增强图像亮度，同时进行去噪；利用多层卷积融合交叉混合注意力机制，将通道、空间、纵向和横向关注度四个方面的信息进行过滤；最后，在细节恢复模块，利用感受野扩张机制增强感受野，强化细节信息；同时联合损失函数增强图像信息，其中，色彩一致性损失函数进行色彩恢复；本发明能够解决低光照图像增强后存在色彩饱和度低、对比度低和细节丢失的问题。

主权项：1.融合交叉混合注意力和感受野扩张的低光照图像增强方法，其特征在于，包括：S1：获取低光照图像数据集；S2：基于初始模块中的2个不同的U型网络，并经过多层卷积，将低光照图像数据集中的低光照图像分解为反射分量和光照分量；S3：利用优化网络模块中的多尺度光照机制和低光照图像中的反射分量和光照分量，增强低光照图像数据集中的低光照图像的图像亮度，同时进行去噪，获得最终的输出特征图；S4：基于多层卷积融合交叉混合注意力机制，将通道、空间、纵向和横向关注度四个方面的信息进行过滤，减少最终的输出特征图在增强过程中的负面影响，获得交叉混合注意力特征图；S5：利用细节恢复模块中的感受野扩张机制增强交叉混合注意力特征图的感受野，强化细节信息，获得细节特征图，同时使用色彩一致性损失函数对交叉混合注意力特征图进行色彩恢复，获得低光照图像数据集的图像增强结果；其中，在步骤S2中，反射分量的U型网络和光照分量的U型网络都由3*3的卷积、rule函数和最大池化构成；基于2个不同的U型网络，从输入的低光照图像中提取输出通道分别为32和64的特征图，再经过输出通道为128的瓶颈层特征图保留输入的低光照图像的重要特征；使用concat和反卷积对所有特征图进行上采样，恢复输入的低光照图像的图像信息，从而构成光照分量U型网络；反射分量U型网络，在光照分量U型网络的基础上，再使用一个3*3、激活函数为rule的卷积进行特征提取，形成最终的反射分量U型网络，之后喂入sigmoid函数约束反射分量，提取出照明分量；其中，S3：利用优化网络模块中的多尺度光照机制和低光照图像中的反射分量和光照分量，增强低光照图像数据集中的低光照图像的图像亮度，同时进行去噪，获得最终的输出特征图，包括：多尺度光照机制由光照调整模块和多尺度采样模块执行；将光照分量送入网络，通过一个3×3卷积和sigmoid函数进行光照调整并获取光照信息，将输入特征图和光照信息相乘；多尺度采样模块从光照调整模块获取第一层特征图；利用3×3获取通道数的卷积、归一化和rule函数，获取第二层特征图；第三层特征图由最大池化、3×3获取通道数的卷积、归一化、rule函数和2×2获取通道数反卷积构成；第四层卷积由最大池化、1×1获取通道数卷积、归一化、relu函数、两个2×2获取通道数反卷积构成；获取通道数卷积，利用通道信息获取细节信息；将四层特征图进行堆叠，通过一个1×1卷积得到最终的输出特征图；其中，S4：基于多层卷积融合交叉混合注意力机制，将通道、空间、纵向和横向关注度四个方面的信息进行过滤，减少最终的输出特征图在增强过程中的负面影响，获得交叉混合注意力特征图，包括：基于通道注意力机制和输入特征图的通道数计算自适应卷积核的大小，通过全局平均池化后，利用一维卷积代替全连接层；通道注意力机制无大量卷积结构，用更少的参数量实现跨通道信息交互；空间注意力机制对特征图进行空间域处理；通过最大池化和平均池化后，进行堆叠，使用二维卷积融合空间特征信息，利用sigmoid函数进行归一化处理；通道注意力机制和空间注意力机制都将输入特征图和相关权重相乘后输出；通道注意力机制和空间注意力机制合并将各自输出特征图送入行列注意力机制，获得交叉混合注意力特征图；其中，通道注意力机制和空间注意力机制合并将各自输出特征图送入行列注意力机制，获得交叉混合注意力特征图，包括：通过reduce_mean函数计算特征图行的图像平均值，再利用二维卷积和softmax函数计算行关注度和列关注度，得到行列注意力图时，将行列注意力图中的行列关注度信息进行共享并堆叠，最终输出交叉混合注意力特征图；其中，S5：利用细节恢复模块中的感受野扩张机制增强交叉混合注意力特征图的感受野，强化细节信息，获得细节特征图，同时使用色彩一致性损失函数对交叉混合注意力特征图进行色彩恢复，获得低光照图像数据集的图像增强结果，包括：通过最近邻插值的堆叠，获得丰富的特征信息，经过感受野扩张机制的上下文信息获取，强化特征细节；感受野扩张机制由五条分支构成，其中四条分别利用1×1卷积、1×3卷积和3×1卷积获取不同大小的特征图；利用膨胀率为1、3、5的膨胀卷积扩大感受野，提取图像中不同尺度和位置的特征，增强神经元对输入数据的响应；将四个不同膨胀率的特征图进行堆叠，通过1×1卷积进行融合，最终和经过1×1卷积之后的前层特征图进行相加，输出细节特征图；并利用色彩一致性损失函数将色彩信息进行矫正恢复，获得低光照图像数据集的图像增强结果；其中，色彩一致性损失函数，包括： 其中，色彩一致性损失函数由反射分量损失光照损失一致性损失和误差损失构成，初始模块总损失函数为Ld；优化模块损失函数由均方误差损失函数MSE、结构相似性损失函数SSIM和梯度损失函数Grad构成，优化模块总损失函数为Le；细节恢复模块损失函数由色彩一致性损失函数color构成；||·||1为范式L1；Rl为低光照图像的反射分量，Rh为正常光图像的反射分量；Il为低光照图像的光照分量，Ih为正常光图像的分量；Ll为低光照图像，Lh为正常光图像；为水平和垂直方向的一阶导数算子；ε为0.01，以避免分母为零；|·|为绝对值；c为颜色通道的数量。

全文数据：

权利要求：

百度查询： 盐城工学院 盐城工学院技术转移中心有限公司 融合交叉混合注意力和感受野扩张的低光照图像增强方法