买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国工程物理研究院电子工程研究所

摘要：本发明公开了一种基于强度差值的多尺度残差多光谱去马赛克网络结构，该网络结构包括：依次顺序设置的强度差值特征提取单元、长短层次特征自适应融合单元、聚合多尺度残差学习单元和多光谱图像去马赛克重建单元，该结构首次将强度差值去马赛克与深度学习网络结构相结合，能够更显著地利用空间相关性和谱段相关性提取原始欠采样图像内在的深层次特征，设计多尺度残差学习模块，通过融合不同感受野、不同尺度下的特征信息提升模型的特征表达能力，同时引入聚合残差结构，通过设置残差模块中的网络支路数量拓宽模型宽度从而提升网络学习效率。

主权项：1.一种基于强度差值的多尺度残差多光谱去马赛克网络结构，其特征在于，所述网络结构包括：按照图像处理的过程依次顺序设置的强度差值特征提取单元、长短层次特征自适应融合单元、聚合多尺度残差学习单元和多光谱图像去马赛克重建单元；（一）所述强度差值特征提取单元将输入的原始多光谱马赛克样本图像进行滤波、光谱波段维度上的图像分离、稀疏差值图像计算和特征提取操作后得到初始强度差值特征；包括：按原始多光谱马赛克样本图像处理顺序依次设置的滤波卷积模块、图像分离模块、稀疏差值计算模块和特征提取卷积模块；其中滤波卷积模块将原始多光谱马赛克样本图像进行卷积滤波操作，得到多光谱强度图像；图像分离模块将原始多光谱马赛克样本图像进行光谱波段维度上的图像分离，得到每个光谱波段通道的稀疏样本图像；稀疏差值计算模块计算每个光谱波段通道的多光谱强度图像与该通道稀疏样本图像的稀疏差值图像，并且对每个光谱波段通道下的稀疏差值图像分别进行双线性插值操作，得到每个通道下完整的强度估计差值图像；特征提取卷积模块对各个光谱波段通道下的强度估计差值图像进行特征提取，得到初始强度差值特征；（二）所述长短层次特征自适应融合单元将初始强度差值特征进行长短层次特征提取、特征维度降低和自适应特征提取操作后，得到自适应瓶颈层特征；包括：按初始强度差值特征处理顺序依次设置的长短层次特征提取模块、特征维度降低模块和自适应权重通道注意力模块；其中长短层次特征提取模块由8个顺序连接的长短层次子模块组成，每个长短层次子模块均对其输入特征依次进行卷积和激活函数处理，之后将激活函数处理后的特征与对应的长短层次子模块的输入特征在特征维度上进行拼接，第一个长短层次子模块的输入特征为初始强度差值特征，后面每个长短层次子模块的输入特征均为前一个长短层次子模块的输出特征，长短层次特征提取模块的输出特征为最后一个长短层次子模块的输出特征；特征维度降低模块利用卷积层和激活函数降低长短层次特征提取模块的输出特征的维度；自适应权重通道注意力模块对维度降低的特征在空间维度和通道维度进行自适应特征提取，得到自适应瓶颈层特征；（三）所述聚合多尺度残差学习单元将自适应瓶颈层特征进行多尺度残差连接处理后得到深层次多尺度自适应特征；包括：两个级联的聚合多尺度残差模块；其中第一级聚合多尺度残差模块的输入为自适应瓶颈层特征；第二级聚合多尺度残差模块的输入为第一级聚合多尺度残差模块的输出，第二级聚合多尺度残差模块的输出为深层次多尺度自适应特征；聚合多尺度残差模块包括：两个多尺度残差学习子模块以及顺序连接在两个多尺度残差学习子模块后面的残差连接子模块和自适应权重通道注意力子模块；其中两个多尺度残差学习子模块的输入特征相同，均为聚合多尺度残差模块的输入特征；残差连接子模块的输入特征为两个多尺度残差学习子模块的输出特征与与其对应的聚合多尺度残差模块的输入特征相加后的特征；自适应权重通道注意力子模块对残差连接子模块的输出特征在空间维度和通道维度进行自适应特征提取；（四）所述多光谱图像去马赛克重建单元将深层次多尺度自适应特征进行卷积和激活函数处理后得到深层次特征，之后将深层次特征进行卷积处理，并将经过卷积处理后的深层次特征与多光谱强度图像进行相加再进行激活函数处理，得到重建生成的多个光谱通道下的多光谱图像；包括：按深层次多尺度自适应特征处理顺序依次设置的卷积层Ⅰ、激活函数和强度特征残差连接子模块，其中强度特征残差连接子模块包括沿着特征处理顺序依次设置的由16个1×1卷积核组成的卷积层Ⅷ、残差连接单元和激活函数，残差连接单元将经过卷积层Ⅷ处理后的特征与多光谱强度图像进行相加。

全文数据：

权利要求：

百度查询： 中国工程物理研究院电子工程研究所 一种基于强度差值的多尺度残差多光谱去马赛克网络结构