买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国海洋大学

摘要：本发明属于图像处理技术领域，特别涉及基于时序依赖和边缘细化的海温图像鲁棒补全方法及系统，所述系统包括时序特征提取模块、条件粗生成模块、边缘细生成模块，时序特征提取模块包括序列注意力模块和时间注意力模块，对于输入的包含缺失图像的时序块，所述时序特征提取模块提取特征图，并输入序列注意力模块和时间注意力模块，所述条件粗生成模块的输入为缺失图像和时序特征提取模块输出的特征图，输出粗补全图像；所述边缘细生成模块的输入为条件粗生成模块生成的粗补全图像，输出最终补全的图像。通过本发明实现图像补全结果的可靠性。

主权项：1.基于时序依赖和边缘细化的海温图像鲁棒补全方法，其特征在于，包括以下步骤：步骤1、构建缺失图像时序块：获取缺失时刻前后若干张图像，构建包含缺失图像的时序块；步骤2、从时序块中提取全局和局部的时序特征，对缺失图像进行时空依赖性建模，具体如下：步骤21、时序块中的每一张图像通过卷积网络处理，输出特征图F，作为时序注意力机制的输入；步骤22、特征图F经过时序注意力机制处理得到特征图F″：在时序注意力机制中，首先特征图F经过序列注意力模块得到序列注意力特征图McF，McF与F点乘，得到序列注意力优化的中间特征图F′，其次特征图F′经过时间注意力模块得到时间注意力特征图MtF′，MtF′与F′点乘，得到经过序列和时间注意力最终优化后的输出F″；所述序列注意力模块包括全局最大池化、全局平均池化、多层感知机和激活函数，输入特征图F分别经过全局最大池化和全局平均池化在空间维度上压缩，得到和中间特征图，并送到一个参数共享的多层感知机，将输出的特征进行加和操作，经过激活函数操作，生成最终的序列注意力特征图McF；所述时间注意力模块包括全局最大池化、全局平均池化、卷积核和激活函数，经过序列注意力机制提炼的特征图F′分别经过全局最大池化和全局平均池化在序列维度上压缩，得到和中间特征图，并在序列维度上拼接在一起，使用卷积核进行卷积操作降维，再经过激活函数生成时间注意力特征图MtF′；步骤3、图像粗补全：将步骤22得到的特征图F″作为附加条件，与缺失图像一起送入条件粗生成模块，得到粗补全图像；所述条件粗生成模块包括若干个卷积块、残差块和空间注意力块；步骤4、边缘处理：将步骤3得到的粗补全图像输入边缘细生成模块，经过门控空洞卷积和细节注意力机制优化边缘补全部分，得到最终补全的图像；所述边缘细生成模块处理图像的过程如下：粗补全图像首先经过三个跨步门控卷积、两个门控卷积，门控单元应用于卷积核中的每个通道，计算出一个权重值，用于指导卷积操作中信息的筛选和提取；接着通过四个空洞卷积，输出的特征图输入细节注意力机制；在细节注意力机制内，首先通过一个全局平均池化层，将特征图的每个通道降维到一个标量，然后将其输入到两个全连接层中，第一个全连接层将标量进行非线性变换，得到一个激活向量；第二个全连接层将激活向量映射到一组权重向量，每个权重向量对应一个通道，权重向量将用于对输入特征图的每个通道进行加权，以得到调整后的特征图；最后经过门控卷积操作得到最终补全图像。

全文数据：

权利要求：

百度查询： 中国海洋大学 基于时序依赖和边缘细化的海温图像鲁棒补全方法及系统