买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华东交通大学

摘要：一种用于双时相遥感图像语义变化检测的网络模型，包括双时相孪生网络、Transformer模块、多任务头和时空特征学习模块；双时相孪生网络使用CNN骨干网络从输入的双时相遥感图像对中提取多尺度特征图，并将多尺度特征图转换为视觉标记，所述双时相孪生网络包括两个CNN骨干网络，CNN骨干网络采用残差网络ResNet，两个CNN骨干网络之间共享权重，Transformer模块用于捕获视觉标记之间的长距离依赖关系，得到Transformer模块的输出特征图；多任务头用于基于Transformer模块的输出特征图，生成语义分割和二值变化检测的预测输出；时空特征学习模块用于二值变化检测任务。该网络模型能够充分探索二值变化检测和语义分割之间的相关性，使这两个任务能够相互促进，实现高性能的语义变化检测。

主权项：1.一种用于双时相遥感图像语义变化检测的网络模型，其特征在于，包括双时相孪生网络、Transformer模块、多任务头和时空特征学习模块，所述Transformer模块具有编码器和解码器；所述双时相孪生网络使用CNN骨干网络从输入的双时相遥感图像对中提取多尺度特征图，并将多尺度特征图转换为视觉标记，所述双时相孪生网络包括两个CNN骨干网络，所述CNN骨干网络采用残差网络ResNet，两个CNN骨干网络之间共享权重，在所述双时相孪生网络中使用空间注意模块将空间位置信息嵌入到多尺度特征图中，并通过采样和像素级相加操作融合多尺度特征图；所述Transformer模块用于捕获视觉标记之间的长距离依赖关系，得到Transformer模块的输出特征图；所述多任务头用于基于Transformer模块的输出特征图，生成语义分割和二值变化检测的预测输出；所述时空特征学习模块用于二值变化检测任务，使第一二值变化检测的结果与第二二值变化检测的结果一致，其中，将双时相遥感图像对中的图像按时间顺序排列，得到的二值变化检测结果为第一二值变化检测的结果，将双时相遥感图像对中的图像按时间倒序排列，得到的二值变化检测结果为第二二值变化检测的结果；所述CNN骨干网络包括一个7×7卷积层、以及四个残差块，其中残差块Res3和残差块Res4执行2倍下采样；对于输入的尺寸大小为3×H×W的双时相遥感图像对，W和H分别表示输入图像的宽度和高度，CNN骨干网络从图像和图像中分别提取出三幅不同尺度的特征图，然后，特征图通过空间注意模块进行处理，最后，对于每个时相分支，特征图与同一时相分支的其他两个特征图通过采样和像素级相加进行融合，从而输出特征图；在所述双时相孪生网络中，首先对将特征图应用1×1卷积，然后采用softmax层，以获得m个尺寸大小为h×w的空间注意力图，其中，h和w分别个表示特征图的高度对应的维度和特征图的宽度对应的维度，表示时相i、尺度j所在时相分支对应的一个空间注意力图中的第k列，然后，使用空间注意力图对特征图应用加权平均池化操作，将特征图和空间注意力图的大小分别重塑为c×hw和hw×1，其中，c是特征图的通道数量，其中，使用空间注意力图对特征图应用加权平均池化操作满足下式： ；其中，表示时相i、尺度j所在时相分支对应的视觉标记中的第k列；最后对进行拼接，得到时相i、尺度j所在时相分支对应的视觉标记；所述Transformer模块利用卷积操作将特征图转化为大小为m的视觉标记集；在视觉标记中添加一个可学习的位置编码得到标记化的特征图，所述编码器以标记化的特征图为输入，并生成编码后的输出特征图；所述编码器由Ne个结构相同的层堆叠组成，每一层包括多头自注意力模块和前馈神经网络模块，标记化的特征图在输入编码器后，从编码器的第l-1层到第l层需要依序经过多头自注意力模块和前馈神经网络模块处理，此外，使用层规范化对多头自注意力模块和前馈神经网络模块处理的输入进行规范化处理，并对两个模块的输出使用残差连接；所述编码器的第l-1层被层规范化后，第l-1层对应的特征图被传递到第l层的多头自注意力模块中，通过并行的N个独立的注意力头将输入特征映射到多个特征子空间中，其中，N个独立的注意力头不共享权重，每个注意头包括一个转化层和一个自注意力层，首先通过转化层将输入特征映射为一组键向量、值向量和查询向量；接着基于键向量、值向量和查询向量计算注意力矩阵，以得到多头自注意力模块中每个注意力头的输出特征，最后拼接各个注意力头的输出特征，并对拼接结果线性投影得到多头自注意力模块的输出特征；所述转化层用于将第l-1层对应的特征图映射为键向量、值向量和查询向量，对于第l层的第n个注意力头，多头自注意力模块关于的线性变换表示为： ； ； ；其中，、、分别为与键向量、值向量、查询向量对应的线性矩阵；所述自注意力层的输出特征是通过值向量与softmax归一化后的注意力权重进行加权求和得到的，其中，对于第l层中的第n个注意力头，满足以下条件式： ；其中，是通过计算每对视觉标记之间注意力权重得到的注意力矩阵，是沿着行维度对注意力矩阵进行归一化的函数，T表示转置操作，是缩放点积注意力机制的缩放因子；在得到注意力矩阵后，计算第n个注意力头的输出特征时使用两个时相分支的注意力矩阵来捕获跨时相相关性，其中，在第l层的两个时相分支中，第n个注意力头的输出特征表示为： ；其中，、分别表示时相1对应的第n个注意力头的输出特征、时相2对应的第n个注意力头的输出特征，、分别表示时相1对应的注意力矩阵、时相2对应的注意力矩阵，、分别表示时相1对应的值向量、时相2对应的值向量；再将N个注意力头的输出特征拼接串接并投影得到第l层的多头自注意力模块的输出特征，表达式如下： ；其中，concat表示拼接操作，表示第i时相对应的第1个注意力头的输出特征，表示第i时相对应的第2个注意力头的输出特征，表示第i时相对应的第N个注意力头的输出特征，表示投影矩阵；最后将多头自注意力模块的输出特征传递给前馈神经网络模块，前馈神经网络模块包括两个线性层，两个线性层之间有一个GELU激活函数；所述解码器将特征图、以及添加了可训练的位置编码的特征图作为输入；所述解码器将添加了可训练的位置编码的特征图映射到查询向量中，并将映射到键向量和值向量中，添加了可训练的位置编码的特征图经过Transformer模块处理后得到Transformer模块的输出特征图；所述多任务头包括两个语义分割头和一个二值变化检测头，所述多任务头中的每个任务头均包含三个2倍上采样块，每个上采样块使用最近邻上采样，在两个上采样块之前应用两个3×3卷积层；所述二值变化检测头包含时空特征学习模块，所述语义分割头不包含时空特征学习模块，所述语义分割头的预测输出的通道数量有两个，分别对应是否变化的两个类别，所述二值变化检测头的预测输出的通道数量等于预定义的语义类别的数量；在所述时空特征学习模块中，沿着通道维度将和连接起来，得到两个大小为2c×h×w的和，表达式为： ； ；其中，为时相1对应的Transformer模块的输出特征图，为时相2对应的Transformer模块的输出特征图，为时相1对应的新特征图，为时相2对应的新特征图；然后将和的大小从2c×h×w重塑为2×c×h×w，从而得到两个4D特征图；最后对两个4D特征图分别应用一个大小为k×k×k的3D卷积操作，然后，使用矩阵点乘将两个时空特征融合在一起，从而融合特征，表达式如下： ；其中，Conv3d表示3D卷积操作，表示矩阵点乘；所述用于双时相遥感图像语义变化检测的网络模型的总损失包括两个语义分割损失和一个二值变化检测损失，分别采用多类别的交叉熵损失和二值交叉熵损失对语义分割损失和二值变化检测损失进行建模；其中，两个语义分割损失的表达式为： ； ；其中，、分别表示相对于时相1和时相2的语义分割损失，表示训练集中的像素数，CE表示交叉熵损失函数，、分别是语义分割任务关于第d个像素的真值标签，表示第d个像素对应于时相1的分支相对于的预测概率，表示第d个像素对应于时相2的分支相对于的预测概率；二值变化检测损失的表达式为： ；其中，表示二值变化检测的预测结果与真值之间的损失，和分别表示第d个像素对应的真值和预测结果；所述用于双时相遥感图像语义变化检测的网络模型的总损失L的表达式为： ；其中，为语义分割损失的权重。

全文数据：

权利要求：

百度查询： 华东交通大学 一种用于双时相遥感图像语义变化检测的网络模型