买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西南石油大学

摘要：本发明涉及图像分辨率处理的技术领域，揭露了一种基于生成对抗网络的FIB‑SEM超分辨率方法，包括：判别器模块：将低分辨率图像训练得到相应倍率的高分辨率图像并判别；生成器模块：将低分辨率图像转化为预定高分辨率图像；本发明基于深度学习，用低分辨率图像重构出生成对抗网络的FIB‑SEM高分辨率图像，并通过判别器模块判断重构后图像分辨率真假性；同时，在低分辨率图像和原始图像训练过程中引入损失函数组合作为优化目标，使得转化后的高分辨率图像更加真实，这在克服低分辨率图像信息缺失所产生的病态求逆问题和抗噪声性能等方面有着显著优势，进而使重构后的高分辨率图像显现出更多的孔隙、喉道和裂缝等微观结构，有效扩展了传统实验的精度。

主权项：1.一种基于生成对抗网络的FIB-SEM超分辨率方法，所述方法包括：判别器模块：用于将低分辨率图像经过训练得到具有长度为2的特征向量，并以向量特征作为判别标准对图像分辨率是否为生成真假性进行判断；生成器模块：用于将低分辨率图像转化为高分辨率图像；其特征在于：所述判别器训练模块按如下步骤进行：1输入图像准备：将训练数据集中的原始高分辨率图像按N，N2，N4…，NN倍下采样，此处选取Nmax＝8；采样数据通过上采样插值算法转化为与高分辨率图像尺寸一致的低分辨率图像Imagegt，得到不同采样倍数的采样图像和与之对应的高分辨原始图像；以低分辨率和高分辨率特征作为划分标准，将低分辨率与对应的真实高分辨率图像作为一组训练集合，按训练集：测试集：验证集＝7：2：1进行，至此，数据准备阶段完成；2特征向量生成：将数据准备阶段所得数据通过判别模型前向推理得到特征向量，采用sigmoid激活函数对特征向量进行激活，进而为输出判别做准备；3训练损失计算：将真实图像数据与生成图像进行训练损失计算，所述训练损失计算如下：a将真实分辨率图像的标签置为1，生成器生成的图像数据标签设置为0；b计算真实的高分辨率图像Imagegt标签与模型推理高分辨率图像Imagepred标签之间的欧式距离；4判别器完整流程：利用opencv函数读取图片数据，生成3*3的卷积神经网络+BN+Relu+conv模块和8个残差模块，每个残差模块由3*3的卷积核+BN+RelU模块组成，并对每个残缺模块赋予不同的通道数，最后得到1*512*1*1的数据，再通过reshape函数控制每个残缺模块几何形状，然后将所得模块通过全连接方式组合生成长度为1024的向量，并用sigmoid激活函数对向量进行激活，得到索引值为0和1的两种不同特征向量，其中0代表真实图像，1代表假图像；5多次重复步骤3和4经过多次迭代和图像分辨率判断，并对图像数据按占比权重进行图像优化，得到训练值epoch达到200左右的最优化图像数据；6图像数据传输：将训练后经过判别的低分辨率图像Imagegt和与其对应的原始图像作为初始信号输入生成器模块中；所述生成器模块按如下步骤进行：①生成高分辨率图片：读入判别器输入的低分辨率图像数据，对图像数据进行处理生成3*3的卷积神经网络+BN+PRelu模块和8个残差模块，每个残差模块由3*3的卷积核conv+BN+Relu+conv模块组成，并对其赋予不同的通道数，再利用3*3的卷积神经网络+BN+Relu模块，将输出通道控制为64，步长为1；此后，将第一次卷积获得的浅层特征与此处对应的卷积语义特征进行cat合并，再经过卷积+PixelShuffle+PreLU进行超分辨率倍数放大，放大尺寸为N*W，N*H；生成网络包含特征提取模块，残差模块，与上采样模块pixelShuffle；其中上采样模块pixelShuffle实现上采样步骤如下：作用是将一个H×W图像变为rH×rW的高分辨率图像，首先通过卷积先得到r2个通道的特征图，且特征图大小和输入低分辨率图像一致，然后通过像素混洗pixelshuffing的方法得到这个高分辨率的图像，其中r为上采样因子upscalingfactor，也就是图像的扩大倍率，根据自身需求选取2、4、6、8倍，Pixelshuffle算法将*，γ^2×c，H，W的Tensor通过reshape转化为*,C,rH,rW的Tensor，从而使得分辨率扩大r倍；②生成器训练损失计算：对生成器图像数据进行训练损失计算作为最优化目标，这样转化的高分辨率图像更加真实，所述训练损失计算如下：计算真实原始图片与模型计算所得高分图片之间的损失代价衡量，其中loss计算如下：aMSEloss计算： 代表总的感知损失；r为放大倍数；为真实图片对应的特征值；经过生成器超分计算后的对应宽高图片对应的特征值；W，H分别代表宽度和高度；x，y代表目标索引；bperceptualloss计算：原代价函数MSE使重建结果有较高的信噪比PSNR，但是缺少了高频信息和过度平滑纹理的出现；重建后的高分辨率图像与真实的高分辨率图像相比无论是低层次的像素值上，还是高层次的抽象特征上，还是在整体概念和风格上都接近； 代表感知损失，Cj为通道，W，H分别代表图像的宽度和高度；φjxh,w,c为真实图像在已训练VGG模型推理计算出来的感知特征图；φjxh,w,c′为生成图像在已训练VGG模型推理计算出来的感知特征图；cL1loss计算：原代价函数MSE使重建结果有较高的信噪比PSNR，但是缺少了高频信息和过度平滑纹理的出现，利用内容损失后，弥补了高频和过度平滑纹理的信息缺失，为了生成器参数更好的训练，采用L1正则化损失，对于参数大小进行约束：l1:Ωw＝||w||1＝∑i|wi|w代表生成器的模型参数；7重复步骤4和5经过多次迭代和图像分辨率类别判断，并对图像数据按占比权重进行最优化，在每一个判别器训练批次进行优化的同时，生成器训练批次也进行了一次损失优化，从而同时训练判别器与生成器，最终利用训练好的生成器模型输出结果。

全文数据：

权利要求：

百度查询： 西南石油大学 一种基于生成对抗网络的FIB-SEM超分辨率方法