买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：电子科技大学;徐州新川智能科技有限公司

摘要：本发明公开了一种基于区域物理约束对抗生成网络的图像去雾方法，先搭建区域物理约束对抗生成网络，通过基础分割模型SAM提供的区域图来约束其中的去雾网络和加雾网络，估计准确的雾成像物理属性，同时引入视网膜Retinex理论来辅助加雾网络生成更真实的有雾图像；接着构建非配对的有雾图像和干净图像作为训练数据，进行循环对抗生成训练使其收敛，最后网络收敛后只需要使用去雾网络来实现图像去雾需求。

主权项：1.一种基于区域物理约束对抗生成网络的图像去雾方法，其特征在于，包括以下步骤：1、图像采集及预处理；采集若干张有雾图像和若干张无雾图像，共同组成训练数据集；2、搭建区域物理约束对抗生成网络；循环对抗生成网络包括生成器和判别器，其中，生成器包含一个去雾网络G1和一个加雾网络G2，去雾网络用于将有雾图像映射至无雾图像，加雾网络用于将无雾图像映射至有雾图像；判别器包含一个有雾判别器D1和一个无雾判别器D2，有雾判别器用于判别输出图像是否为有雾图像，无雾判别器用于判别输出图像是否为无雾图像；去雾网络G1包括奇数层的卷积层和桥接在两层卷积层之间的区域提示增强模块；设去雾网络G1中共计k层卷积层，k层卷积层依次串联，k为奇数；另外，第一层卷积层的输出经过一个区域提示增强模块后输入至第k层卷积，第二层卷积层的输出经过一个区域提示增强模块后输入至第k-1层卷积，以此类推，位于中间位置的卷积层仅连接前后卷积层；区域提示增强模块包括下采样模块和多个卷积块；输入的区域图先通过下采样模块进行下采样，再将下采样结果经过一个3×3的卷积块进行卷积操作，然后将卷积结果作为下一个区域提示增强模块的输入；同时，将下采样结果与卷积层输入的特征图进行通道拼接，再将拼接后的结果进行归一化处理，然后将归一化结果分别通过三个1×1的卷积块，记每个卷积块输出的卷积特征分别为We、Wk、Wq；将卷积特征Wk和Wq逐像素相乘后，先通过Softmax函数再与卷积特征We逐像素相乘，其结果通过1×1的卷积块后再与通道拼接结果逐像素相加，然后将相加的结果再次通过一个1×1的卷积块，最后再与卷积层输入的特征图进行逐像素相加，相加的结果作为区域提示增强模块桥接的另一层卷积层的输入；加雾网络G2以去雾网络G1的架构为基础，在去雾网络G1的输出端增设区域亮度修正模块；区域亮度修正模块包括分解模块和亮度调整模块；其中，分解模块通过Retinex分解操作将加雾网络G2映射出的有雾图像分解为反射图Rx和亮度图Lx；亮度调整模块利用区域图Mx来自适应学习调整亮度图Lx，学习不同区域的照明亮度，生成更真实的有雾图像3、训练区域物理约束对抗生成网络；3.1、从训练数据集中随机选取一张有雾图像和无雾图像，有雾图像记为Ix，无雾图像记为Jx；3.2、将有雾图像Ix通过基础分割模型SAM，生成区域图Mx；3.3、将有雾图像Ix、无雾图像记为Jx以及区域图Mx一起输入至生成器，在生成器中，通过去雾网络G1将有雾图像Ix映射至无雾图像 其中，tx表示表示G1在映射过程中产生的传输图；同时，通过加雾网络G2将无雾图像Jx映射至有雾图 其中，dx表示G2在映射过程中产生的深度图，A*表示将无雾图像Jx中像素最大值作为全局大气光；β为散射系数，且服从均匀分布；3.4、利用区域亮度修正模块修正有雾图像3.4.1、分解模块将有雾图像分解为反射图Rx和亮度图Lx； 3.4.2、亮度调整模块先使用卷积层处理拼接后的区域图Mx和亮度图Lx，得到修正后的亮度图然后将修正后亮度图与原亮度图Lx逐像素相加，并将相加后结果与反射率Rx逐像素相乘，最后将相乘的结果通过多层的卷积处理后生成更加真实的有雾图像3.5、计算本轮训练后的总损失；3.5.1、计算对抗损失；将去雾网络G1估计的无雾图像和采集的无雾图像Jx一起输入到无雾判别器D2，然后计算无雾判别器D2的期望概率： 其中，E[·]表示求期望概率；将加雾网络G2估计的有雾图像和采集的有雾图像Ix一起输入到有雾判别器D1，计算有雾判别器D1的期望概率： 3.5.2、计算循环一致性损失；将去雾网络G1估计的无雾图像输入至加雾网络G2，得到伪有雾图像然后计算与Ix的平均绝对误差||||1表示L1范数；将区域亮度修正模块修正后的有雾图像输入至去雾网络G1，得到伪无雾图像然后计算与Jx的平均绝对误差最后计算循环一致性损失：3.5.3、计算区域物理约束对抗生成网络的总损失； 3.6、根据总损失，利用梯度下降法更新生成器和判别器的参数，然后进行下一轮的训练，直至区域物理约束对抗生成网络收敛，训练结束；4、图像去雾测试；采集有雾图像，然后输入至训练完成的区域物理约束对抗生成网络中，从而输出得到去雾后的无雾图像。

全文数据：

权利要求：

百度查询： 电子科技大学 徐州新川智能科技有限公司 一种基于区域物理约束对抗生成网络的图像去雾方法