买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国计量大学

摘要：本发明涉及一种基于CNN‑Transformer可解释的轻量级图像超分辨率重建方法，包括：S1、对原始数据集进行预处理，得到所需LR和HR训练数据；S2、融合数据驱动与模型驱动，构建l1范数的图像退化模型，并根据分裂Bregman算法、优化最小算法和软阈值算子推导出有效可解释的迭代模型；S3、由步骤S2的迭代模型设计轻量级的CNN‑Transformer图像超分辨率网络；S4、设置损失函数、相关参数，比较迭代过程中评价指标PSNR和SSIM的数值，确定最佳图像超分辨重建模型；S5、性能测试，将低分辨率的图像输入到步骤S4获得的最佳图像超分辨重建模型中，获得超分辨率图像和评价指标。

主权项：1.一种基于CNN-Transformer可解释的轻量级图像超分辨率重建方法，其特征在于，该方法包括如下步骤：S1、对原始数据集进行预处理，得到所需LR和HR训练数据，所述LR和HR训练数据中包括成对的高分辨率图像IHR和低分辨率图像ILR；S2、融合数据驱动与模型驱动，构建范数的图像退化模型，并根据分裂Bregman算法、优化最小算法和软阈值算子推导出有效可解释的迭代模型；S2.1、将图像的退化模型表示为：y＝φx+n公式1公式1中，x为高分辨率图像IHR；y为对x退化后的低分辨率图像ILR；φ·为退化操作；n表示噪声；S2.2、根据贝叶斯条件，融合数据驱动和模型驱动，利用范数将图像退化问题转化为优化问题： 用变量分离策略将公式2的范数优化模型转化为： 公式2和公式3中，x为高分辨率图像IHR；argmin为变元函数；y为对x退化后的低分辨率图像ILR；||·||1为范数；φ为退化矩阵；λ是正则化系数；Jx是方差；d为辅助变量；使用分裂Bregman方法先将公式3的约束问题转化为无约束问题： 上述公式4由分裂Bregman方法分解为两个子问题x、d，如下迭代公式： 公式4和公式5中，xs+1和ds+1表示子问题的最终迭代式；φ为退化矩阵；λ是正则化系数；Jx是方差；argmin为变元函数；y为对x退化后的低分辨率图像ILR；η为惩罚系数；b、d为辅助变量；ds和bs为辅助变量第s次更新的值；bs+1为迭代第s次后的最终辅助值；s＝0,1,2...S；为二范数的平方；S2.3、对迭代公式5中的子问题x，采用优化最小算法求解： 对迭代中的子问题d，由软阈值算子Soft求解： 公式6和公式7中，xs+1,l+1表示xs+1子问题的第l+1步迭代解，xs+1,l表示xs+1子问题的第l步迭代解，l＝0,1,2...L，经过L次递归后，取xs+1,L＝xs；D为CNN-Transformer网络；α为自适应参数；ds和bs为辅助变量第s次更新的值；η为惩罚系数；φ为退化矩阵；φT为退化矩阵的转置；S3、由步骤S2的迭代模型设计轻量级的CNN-Transformer图像超分辨率网络，轻量级的CNN-Transformer图像超分辨率网络包括三个部分：浅层特征提取层、深度特征提取层和重建模块；所述浅层特征提取包括一个3×3卷积；所述深度特征提取包括模块X和模块d-b；所述重建模块包括两个3×3卷积和一个亚像素卷积；S3.1、首先将低分辨率图像ILR输入到浅层特征提取层，得到浅层提取特征；Fs＝f3x3ILR公式8公式8中，Fs为浅层提取特征，f3x3·为浅层特征函数，ILR为低分辨率图像；S3.2、将公式8中的结果输入到退化矩阵φ，得到深度特征提取输入的初始特征，即对应图1中的x0值；Fφ＝φFs公式9公式9中，Fs为浅层提取特征，Fφ为深度特征提取输入的初始特征；φ为退化矩阵；S3.3、将步骤S3.2提取到的初始特征送入到深层特征提取层中，获得深层提取特征；Fd＝fcnn-transformerFφ公式10公式10中，Fd为深层提取特征，fcnn-transformer·为深层特征提取函数；S3.4、将深层提取特征Fd输入到重建模块，经过两个3×3卷积和亚像素卷积重建，其过程如公式11，训练网络，得到训练模型、评价指标和重建的高分辨率图像；所述评价指标包括PSNR和SSIM；ISR＝f3x3fSub-pixelf3x3Fφ公式11公式11中，f3x3·为3×3卷积，fSub-pixel·为像素重组函数，ISR为重建的高分辨率图像；S4、设置损失函数L1，优化器Adam的相关参数设置为β1＝0.9，β2＝0.999，ε＝10-8，比较迭代过程中评价指标PSNR和SSIM的数值，如果在迭代过程中评价指标PSNR和SSIM指标没有变化，就将此时的迭代轮次定位，将其确定为最佳图像超分辨重建模型； 公式16中，L1为损失函数；N为图像张数，为第i张超分辨率图像；为与对应的高分辨率图像；S5、性能测试，将低分辨率的图像输入到步骤S4获得的最佳图像超分辨重建模型中，获得超分辨率图像和评价指标。

全文数据：

权利要求：

百度查询： 中国计量大学 基于CNN-Transformer可解释的轻量级图像超分辨率重建方法