买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明公开一种基于门控和上下文注意力机制的图像修复方法，对所采用的可见光数据集图像及其轮廓图像乘以二进制掩膜M，分别得到降质后的缺失图像和辅助信息图像；通过所述降质后的缺失图像和额外的辅助信息图像构建包含真实图像、缺失图像和辅助信息图像的数据集；通过添加感受野模块和损失函数对上下文注意力模块进行改进，构建基于门控卷积和上下文注意力机制的改进的生成对抗网络模型；通过所述缺失图像和辅助信息图像对生成对抗网络模型进行训练，获得最优的生成对抗网络模型；将待修复输入到最优的生成对抗网络模型中，获得有效修复图像。本发明相较于传统算法在大区域或不规则区域缺失的图像修复问题上具有明显的进步。

主权项：1.一种基于门控和上下文注意力机制的图像修复方法，其特征在于，该方法为：对所采用的可见光数据集图像及其轮廓图像乘以二进制掩膜M，分别得到降质后的缺失图像和辅助信息图像；通过所述降质后的缺失图像和辅助信息图像构建包含真实图像、缺失图像和辅助信息图像的数据集；通过添加感受野模块和损失函数对上下文注意力模块进行改进，构建基于门控卷积和上下文注意力机制的改进的生成对抗网络模型；通过所述缺失图像和辅助信息图像对生成对抗网络模型进行训练，获得最优的生成对抗网络模型；将待修复输入到最优的生成对抗网络模型中，获得有效修复图像；所述基于门控卷积和上下文注意力机制的改进的生成对抗网络模型包括生成器和鉴别器两部分；其中，所述生成器采用嵌入改进的上下文注意力模块的编解码器架构，用于改善图像修复质量，同时引入门控卷积用于处理用户添加的额外辅助信息，引导生成更符合预期的修复结果；所述鉴别器采用包括全局鉴别器和局部鉴别器的双鉴别器结构，分别用于对修复图像整体结构的一致性判断和局部区域纹理细节的合理性判断；所述将待修复输入到最优的生成对抗网络模型中，获得有效修复图像，具体为：所述缺失图像XM通过生成器进行两次下采样卷积后，获得特征图X1、X2_1；所述特征图X2_1经过6层连续的空洞卷积层的处理，获得特征图X2_2；对所述特征图X2_1和特征图X2_2拼接，并且经过1层1×1卷积调整通道数至上下文注意力模块的原始输入通道大小得到特征图X2_3，送入SE模块进行通道域均衡化，得到特征图X2_4，最后进入上下文注意力模块进行注意力机制的运算，获得输出特征图Xca，将Xca和X2_2进行特征融合，得到特征图X2；对所述特征图X2经过4层下采样卷积，获得特征图X3、X4、X5、X6；将所述特征图X6的低层特征与高层特征通过残差连接，获得特征图X7；所述特征图X7经过第一层反卷积，获得特征图X1′，将所述特征图Xi和反卷积得到的特征图X′6-ii＝5,4,3,2,1进行特征融合，再输入下一反卷积层进行上采样，最终获得的特征图与输入图像大小相同，即得到修复图像Y′；所述特征图X2_1经过6层连续的空洞卷积层的处理，获得特征图X2_2，具体为：将连续空洞卷积层的膨胀率设置为[1,2,5,1,2,5]结构，可满足HDC结构设计的前2个特性，再对M2的取值进行验证:M2＝max[M3-2r2,-M3+2r2,r2]＝max[1,-1,2]其中，空洞卷积层使用的卷积核尺寸K＝4，则M2＝2≤K＝4满足要求，即该膨胀率的设置符合HDC设计结构。

全文数据：

权利要求：

百度查询： 西安电子科技大学 基于门控和上下文注意力机制的图像修复方法