买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：天津大学

摘要：本发明涉及一种基于深度神经网络的视频去雾方法，包含以下步骤：将当前帧和参考帧信息逐帧插入去雾子网络，对多帧信息进行充分提取；通过深度预测子网络对当前帧深度图进行估计；采用非局部结构将第一步中提取得到的特征和第二步中估计的深度图进行融合，捕获深度图自身、输入特征自身、深度图和输入特征之间三个层次的长距离的像素相关性，实现深度图对视频去雾的指导，得到最终去雾结果。

主权项：1.一种基于深度信息指导的视频去雾方法，包含以下步骤：第一步，将当前帧和参考帧信息逐帧插入去雾子网络，对多帧信息进行充分提取；具体步骤如下：1取待去雾的帧作为当前帧，当前帧前面三帧和后面三帧作为参考帧,在去雾子网络的不同阶段，每次插入当前帧或参考帧中的一帧信息，通过阶段去雾模块SDB对每一帧分别处理；2对多个SDB模块的输出结果进行特征拼接，得到去雾子模块的输出结果；第二步，通过深度预测子网络对当前帧深度图进行估计；具体步骤如下：1将包含当前帧和参考帧在内的多帧图像分阶段插入深度预测子网络的不同阶段，网络的每一阶段由特征拼接和卷积组成，每个阶段输出的特征分别接一个U-Net结构进行当前帧的深度估计，得到7个深度估计结果；2对每个阶段输出的特征进行特征拼接+卷积+softmax函数操作，得到通道数为7的特征，将该特征进行拆分，得到7个权重系数，根据该权重系数对上一步中得到的7个深度估计结果进行加权求和，得到7个深度估计图融合之后的结果Depth；3计算7个深度估计结果的方差，作为7个深度估计结果的不确定性uncert，根据如下公式得到最终的深度估计结果Dt：Dt＝1-uncert*Depth第三步，采用非局部结构将第一步中提取得到的特征和第二步中估计的深度图进行融合，捕获深度图自身、输入特征自身、深度图和输入特征之间三个层次的长距离的像素相关性，实现深度图对视频去雾的指导，得到最终去雾结果；其SDB模块结构如下：对于第一个SDB模块，其输入只有当前帧卷积之后的特征，其网络结构由一个RFDB模块和残差结构组成；对于非第一个SDB模块，有两个输入，分别是上一个SDB模块的输出和参考帧卷积之后的特征，其网络结构由特征拼接，RFDB模块和残差结构组成；对于RFDB模块，由不同层次的残差结构组成，在该模块中，将输入分别经过1*1的卷积与SRB模块，将SRB模块的输出结果再次分别输入1*1的卷积与SRB模块，如此重复，得到四个不同网络深度的特征，之后，将四个不同网络深度的特征进行拼接，再接卷积操作，得到最终的输出结果，其中，SRB模块由包含一个卷积的残差结构和Relu激活函数组成。

全文数据：

权利要求：

百度查询： 天津大学 基于深度信息指导的视频去雾方法