买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：电子科技大学;成都信息工程大学

摘要：本发明公开了一种基于多尺度全局‑局部信息聚合的遥感图像耕地信息提取方法，先搭建并训练多尺度全局‑局部信息聚合网络，使其收敛后能够准确识别遥感图像中的背景和耕地；然后对大面积遥感图像进行重叠滑窗裁剪，再按批次将剪裁的图像切片并输入至训练后的多尺度全局‑局部信息聚合网络，从而输出每张图像切片中背景和耕地对应的标签值，最后根据每张图像切片的预测结果进行重映射，形成可视化的大面积耕地信息提取图。

主权项：1.一种基于多尺度全局-局部信息聚合的图像耕地信息提取方法，其特征在于，包括以下步骤：1、构建遥感图像数据集；1.1、下载多张遥感图像，利用语义分割标注工具将遥感图像中的背景和耕地进行多边形标注，得到语义标签；1.2、将背景和耕地对应的像素值设为0和1，从而生成二值化的语义标签图像，其中，背景区域的像素值设为0，耕地的像素值设为1；1.3、将每一张遥感图像与对应的语义标签图像均裁剪为H×W大小的图块，其中，记第i张遥感图像裁剪后的第j个遥感图像块为imagei,j，对应的第i张语义标签图像裁剪后的第j个遥感图像块为labeli,j；其中i表示遥感图像的编号，j表示裁剪后的遥感图像块的编号；imagei,j和labeli,j的图像大小均为H×W；1.4、将遥感图像块imagei,j与对应的语义标签图像块labeli,j作为一组训练数据，从而构成训练数据集Datasetself；2、搭建并训练多尺度全局-局部信息聚合网络；2.1、从训练数据集Datasetself中选取一组训练数据imagei,j和labeli,j，并将该遥感图像块imagei,j作为多尺度全局-局部信息聚合网络的输入；2.2、多尺度全局-局部信息聚合网络从编码器作为开始，编码器包含ResNet分支和SegFormer分支共两条分支；ResNet分支包含1个下采样模块和4个级联的残差块单元；其中，每个下采样模块包括了一个7x7的卷积层，一个最大池化层；每个级联的残差块单元包括两组残差块，每组残差块中包含了两个3×3的卷积层，两个批量归一化层和两个ReLU激活函数；SegFormer分支包含四个编码阶段；每个编码器阶段中包含有1个重叠图像补丁嵌入层和数个Transformer模块，SegFormer分支中的四个阶段对应的Transformer模块数分别为[3,4,6,3]；其中，每个Transformer模块由1个高效自注意力层，2个混合前馈网络层和两个层标准化层组成；遥感图像通过两条分支的编码操作后，由ResNet分支得到多尺度局部编码特征FkL，由SegFormer分支得到多尺度全局编码特征FkG，再将FkL和FkG输入到特征聚合注意力模块中；逐尺度地将多尺度局部编码特征与多尺度全局编码特征通过特征聚合注意力模块操作后，得到多尺度联合特征FkU；再将FkU输入到解码器中进行解码操作；其中，k＝1,2,3,4表示不同的特征图尺度；对于F1L、F1G和F1U，特征图尺寸为H4×W4×C1；对于F2L、F2G和F2U，特征图尺寸为H8×W8×C2；对于F3L、F3G和F3U，特征图尺寸为H16×W16×C3；对于F4L、F4G和F4U，特征图尺寸为H32×W32×C4；编码操作完成，进入解码操作；解码器由三个编号为GLM1、GLM2和GLM3的全局-局部信息挖掘模块GLMBlock、三个编号为LPU1、LPU2和LPU3的可学习渐进式上采样LPU以及特征细化残差分割头FRRSH；此外仅在训练阶段中，解码器中会引入辅助预测模块ASH，用于计算辅助预测损失；特征图尺寸为H32×W32×C4的F4U输入到GLM3中，得到特征图尺寸为H32×W32×Cd的多尺度解码特征F3D并和F2U共同经过LPU3，得到特征图 输入到GLM2中，得到特征图尺寸为H16×W16×Cd的多尺度解码特征F2D并和F2U共同经过LPU2，得到特征图 输入到GLM1中，得到特征图尺寸为H8×W8×Cd的多尺度解码特征F1D并和F1U共同经过LPU1，得到特征图 输入到FRRSH中，最终得到耕地信息提取结果图outputi,j，其尺寸与输入的遥感图像块imagei,j尺寸相同；对特征图尺寸为H32×W32×Cd的多尺度解码特征F3D进行4倍上采样，对特征图尺寸为H16×W16×Cd的多尺度解码特征F2D进行2倍上采样，再和特征图尺寸为H8×W8×Cd的多尺度解码特征F1D进行通道相加，接着输入到辅助预测模块ASH得到辅助耕地信息提取结果图output-auxi,j，其尺寸与输入的遥感图像块imagei,j尺寸相同；将最终生成的耕地信息提取结果图outputi,j和辅助耕地信息提取结果图output-auxi,j与对应的语义标签图像块labeli,j进行损失函数值Losstotal的计算：Losstotal＝Lossprimary+0.4*Lossauxilary其中，Lossprimary是使用耕地信息提取结果图outputi,j和对应的语义标签图像块labeli,j计算的主损失函数值；Lossauxilary是使用辅助耕地信息提取结果图output-auxi,j和对应的语义标签图像块labeli,j计算的辅助损失函数值；最后，根据损失函数值Losstotal，利用使用梯度下降法更新多尺度全局-局部信息聚合网络的参数，然后按照步骤2.1-2.2重复训练，直至多尺度全局-局部信息聚合网络收敛；3、基于中心置信的广域大面积耕地信息提取；3.1、设滑窗裁剪时的重叠比例为ρ，那么对于尺寸为M×N的大面积遥感图像，使用尺寸为H×W的窗口进行滑动裁剪，每个窗口在水平方向的实际移动距离为1-ρ×W，在垂直方向的实际移动距离为1-ρ×H；将获取到的所有重叠滑窗裁剪的图像切片根据其在原大面积遥感图像中的位置在内存中按顺序存储；3.2、对重叠滑窗裁剪的图像切片进行批量预测；在内存中按序提取一个批次的图像切片并输入至训练后的多尺度全局-局部信息聚合网络，从而输出每张图像切片中背景和耕地对应的标签值0、1；3.3、先根据每张图像切片的标签值生成尺寸为H×W的二值预测图，再选取其中尺寸为H1-ρ×W1-ρ的中心区域为有效重映射面积，最终得到尺寸为M×N的大面积耕地信息提取图，再将标签值映射到彩色范围，形成可视化的大面积耕地信息提取图像。

全文数据：

权利要求：

百度查询： 电子科技大学 成都信息工程大学 基于多尺度全局-局部信息聚合的图像耕地信息提取方法