买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西南科技大学

摘要：本发明涉及图像增强技术领域，具体涉及一种基于Transformer的稠密图像恢复方法，本发明整个网络架构基于改进的Transformer网络，构建了一个具有长短连接组合的密集网络。在保留Transformer网络的自注意机制的同时，实现了浅层和深层特征的重复融合和利用，从而将低光图像恢复为高质量的正常光图像。此外，设计了一种空域和频域结合的损失函数，考虑了像素级和频率域损失，有效约束了图像恢复过程，避免了频谱偏差。最后，设计了一个多尺度混合门前馈网络，取代Transformer中的传统前馈网络，促进了特征选择和前向传播。在各种典型图像增强数据集上的实验证明，本发明的方法在定性和定量评估中均优于当前最先进的网络。

主权项：1.一种基于Transformer的稠密图像恢复方法，其特征在于，首先，提出基于改进Transformer架构的密集光照增强网络，所述密集光照增强网络包括编码器、解码器和嵌套网络；随着编码器网络深度的增加，特征通道增加而特征大小减小，而解码器呈相反趋势；所述嵌套网络由多组Transformer块组成，所述Transformer块与相邻块具有相同的结构，允许网络层之间进行短程特征连接和长程特征连接；实现多级特征的全面有效融合，并编码了重建增强图像所需的丰富语义信息；然后，提出了联合损失函数，其中包括空间域损失函数和频率域损失函数；所述Transformer块包括多头转置注意力网络MDTA和多尺度混合门控前馈网络MHGF；所述多头转置注意力网络包括：通过1x1卷积、3x3深度卷积和Reshape函数处理归一化张量Y，得到三个张量：KT∈RC×HW，Q∈RHW×C和V∈RHW×C；通过将KT∈RC×HW和Q∈RHW×C矩阵相乘来计算注意力图A∈RC×C；通过将V∈RHW×C的值与A∈RC×C相乘，调整V∈RHW×C的值；然后，应用Reshape函数获得V∈RH×W×C，进而通过1x1卷积处理以生成MDTA的输出；MDTA中的自注意力机制如下： （1） （2）其中λ是缩放因子；与传统的多头注意力不同，传统多头注意力通过将Q∈RHW×C矩阵与KT∈RC×HW相乘来获得注意力图A∈RWH×WH，而MDTA获得大小为A∈RC×C的注意力图；这种转换将远距离像素之间的显式相互依赖转化为隐式相互依赖；这在保留自注意力机制捕捉图像全局特征的能力的同时，极大地降低了后续网络操作的计算负担；所述多尺度混合门控前馈网络包括：不同尺度上包括两个独立的深度卷积路径，分别在3×3和5×5的尺度上提取和融合多尺度特征，以捕获不同尺度上的局部特征信息；最后，在5×5路径的最后一层的输出经过ReLU激活函数处理，并转换为一个门控信号，用于选择性地合并有效的多尺度融合特征；这种设计允许网络在图像恢复中过滤出不同尺度上的有意义的图像特征信息。

全文数据：

权利要求：

百度查询： 西南科技大学 一种基于Transformer的稠密图像恢复方法