买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：厦门瑞为信息技术有限公司

摘要：本发明公开了深度学习模型的暗光图像增强方法，raw图像会先经过混合特征补偿机制以增强模型对图像细节及纹理特征的处理；然后，编码器负责捕捉图像的关键特征信息和噪声信息，为后续的图像去噪和颜色渲染提供基础；随后，raw解码器将编码器提取的特征进行处理，实现图像去噪，利用raw图像的噪声可处理特性去除图像中的噪声，保留图像的重要细节和纹理；最后，带稀疏注意力及门控前馈机制的sRGB解码器负责颜色空间的转换和色彩增强，确保最终图像在视觉上更接近真实世界的光照条件，以便在各种显示设备上呈现。本发明通过引入混合特征补偿机制、稀疏注意力机制以及门控前馈机制能够有效改善低光照环境下的图像质量。

主权项：1.一种深度学习模型的暗光图像增强方法，使用深度学习算法增强图像数据，其特征在于：模型包括混合特征补偿机制、编码器、raw解码器及sRGB解码器；混合特征补偿机制包括特征提取模块及特征补偿模块，特征提取模块对输入的raw图像进行特征提取，特征补偿模块对输入的raw图像以及经过特征提取的raw图像进行特征补偿，通过集成多个子网络来提取和融合多尺度特征，并利用自注意力机制动态调整各特征表示的贡献，增强对图像细节及纹理特征的处理；编码器在混合特征补偿机制的基础上，用于捕捉图像的关键特征信息和噪声信息并加以区分；raw解码器用于将编码器提取的特征进行处理，实现图像去噪，并利用raw图像的噪声可处理特性，来去除图像中的噪声，保留图像的重要细节和纹理；sRGB解码器包括反馈特征融合模块和解码模块，反馈特征融合模块将raw解码器的输出与编码器的输出中的特征进行融合；解码模块利用稀疏自注意力机制，保留最有用的特征信息并减少噪声或无关信息的干扰，解码模块还通过门控前馈机制，将经过编码器和raw解码器的去噪及增强后的特征进行色彩校正和色彩空间转换处理，将raw域图像映射到sRGB域，以生成增强图像；其中：特征提取模块的输入为，形状为[C1,H,W]，C1为输入特征的通道数，H和W分别为输入特征图的高和宽尺寸，首先，输入特征经过卷积模块和池化模块，得到特征，以提取空间特征和压缩特征，并对特征进行特征重塑操作，得到特征，重塑后的特征形状为[C2]， 其中，表示卷积模块，表示池化模块，表示特征重塑操作；随后，特征依次经过全连接层1、非线性激活层和全连接层2，得到输出特征，输出特征形状变为[n]， 其中，、表示全连接层，为非线性激活函数，表示混合特征补偿机制中的子网络个数；所述特征补偿模块的输入有两个，一个为，该输入与特征提取模块的输入相同，形状为[C1,H,W]；另一个为特征提取模块的输出，形状为[n]，n为7，首先，对于第一个输入，依次经过卷积模块和非线性激活层，得到特征，形状不变， 其中，表示卷积模块，为非线性激活函数；随后，特征分别输入到7个子网络中，得到7个输出、、、、、、；子网络1由1×1的卷积模块构成，子网络2由3×3的卷积模块构成，子网络3由5×5的卷积模块构成，子网络4由3×3的扩张卷积模块构成，子网络5由5×5的扩张卷积模块构成，子网络6由3×3的平均池化模块构成，子网络7由5×5的平均池化模块构成， 其中，表示子网络1~7；接着，对于第二个输入即特征提取模块的输出，先分离其特征，得到7个权重，将7个权重与对应的7个子网络输出、、、、、、相乘，得到7个加权后的特征、、、、、、，将7个加权后的特征进行特征拼接后，依次经过卷积模块和非线性激活层，得到特征补偿模块的输出，形状为[C1,H,W]， 其中，表示特征分离，表示特征拼接处理，表示沿着通道维度对特征进行拼接，表示卷积模块，为非线性激活函数；sRGB解码器的反馈特融合模块的输入有2个，分别是编码器的第二个输出和raw解码器的第二个输出，分别定义为和，首先，将2个输入、特征序列中的特征分离开，第一个输入特征特征分离后得到，第二个输入特征特征分离后得到，分离开的特征经过不同的卷积模块后，得到特征，，，，，，再对，，进行特征相加，对进行特征相加，随后，将相加后的特征进行拼接，得到特征， 其中，表示特征分离，表示卷积模块，表示特征相加，表示特征拼接处理，dim=1表示沿着通道维度对特征进行拼接；随后，特征依次经过卷积模块、深度卷积模块和特征分离模块，得到特征和， 其中，表示特征分离，表示深度卷积模块，表示卷积模块；接着，利用非线性激活函数和卷积模块，实现自适应地选择和融合有用的细节信息和去噪先验，得到特征， ；其中，为非线性激活函数，表示卷积模块；解码模块的输入为反馈特征融合模块的输出，解码模块的输入为，首先，输入特征依次经过稀疏自注意力机制、门控前馈机制和上采样模块，此过程为一个循环，上一循环的输出作为下一循环的输入，默认循环次数为3次，三个循环的输出分别为，，， 其中，表示稀疏自注意力机制，表示门控前馈机制，表示上采样模块；完成3次循环后，特征先经过稀疏自注意力机制及门控前馈机制得到特征，再经过卷积模块、非线性激活层及卷积模块得到特征，最后经过像素重排模块，得到恢复后的sRGB图像， 其中，表示稀疏自注意力机制、表示门控前馈机制、表示卷积模块、表示非线性激活函数、表示像素重排处理；稀疏自注意力机制选择查询和键之间最大的k个相似性分数进行自注意力计算，保留最有用的信息并减少无关特征的干扰，稀疏自注意力机制的输入为，首先，输入特征经过层归一化处理后，依次经过点卷积模块和深度卷积模块得到特征，特征经过特征分离模块进行特征分离，得到、、， 其中，表示层归一化处理，表示点卷积模块，表示深度卷积模块，表示特征分离处理；随后，对3个特征、、进行特征重塑，得到、、，特征、、的形状分别由[C,H,W]变成[N,CN,H×W]， 其中，为特征图通道数量，为特征图高，为特征图宽，N为多头自注意力模块的头数，表示特征重塑；接下来，对特征进行L2归一化，得到，对特征进行L2归一化及转置，得到， 其中，表示L2归一化处理，表示对特征最后两个维度的元素进行转置处理；随后，对特征和进行矩阵相乘，得到相似性分数，分别挑选前12、13、14个相似性分数,分别表示为、、，对、、进行softmax处理后，分别与特征进行矩阵相乘，得到、、， 其中，表示矩阵相乘处理，表示取前k个相似性分数，表示沿着最后一个维度对特征进行softmax处理；接下来，对、、进行特征加权，权重分别为、、，这3个权重是可学习的，得到特征， 最后，重塑特征的形状并经过卷积模块，得到稀疏自注意力机制的输出， 其中，表示特征重塑，表示卷积模块；门控前馈机制的输入为稀疏自注意力机制的输出，门控前馈机制的输入表示为，首先，输入特征经层归一化和卷积模块处理，得到特征， 其中，表示层归一化处理，表示卷积模块；接下来，特征分别经过2个扩张卷积模块处理，得到特征和，特征经过非线性激活层，引入非线性，得到特征， 其中，表示扩张卷积模块，为非线性激活函数；最后，对和进行特征相乘后再经过卷积模块，得到门控前馈机制的输出， 其中，表示卷积模块。

全文数据：

权利要求：

百度查询： 厦门瑞为信息技术有限公司 深度学习模型的暗光图像增强方法