买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：武汉理工大学三亚科教创新园

摘要：本发明涉及深度学习与计算机视觉技术领域，公开了基于空间和语义对齐融合的海陆港口分割方法，包括以下步骤：输入遥感海陆港口分割数据集图像，经过双分支特征编码器对深度神经网络和Transformer进行特征提取，获得多尺度特征，并将特征进行空间和语义特征对齐融合，并通过反向传播优化双分支特征对齐的过程。对融合后的解码器特征进行多尺度特征融合，使用辅助损失函数进行融合监督和反向传播。将融合特征采样至原图分辨率大小，进行分割预测。通过分割损失函数进行反向梯度传播，训练更新网络模型参数，改善海陆港口边界分割精确度，提高网络模型在遥感海陆港口图像分割中的训练精度。

主权项：1.一种基于空间和语义对齐融合的海陆港口分割方法，其特征在于，包括以下步骤：S1、数据集预处理：对高分辨率光学遥感海陆图像进行裁剪和预处理，形成预处理数据集，对数据集进行训练集、验证集和测试集划分；S2、数据增强：对数据集进行通用数据增强或标准化处理，得到数据增强后的遥感海陆图像数据集；S3、特征提取：将数据集训练集图像分批输入双分支编码器中的深度卷积神经网络和Transformer的特征提取模块，获得四个不同层次的特征图；所述S3中，所述双分支编码器包括Transformer编码器和CNN编码器；在CNN分支编码器中，利用预训练的ResNet50网络进行特征提取，得到局部空间细节特征；在Transformer分支编码器中，利用预训练的SegFormer网络进行特征提取，得到全局上下文语义特征；所述S3包括如下步骤：在CNN分支编码器中，ResNet50网络通过四个阶段的残差块和池化下采样，获得四个具有空间局部信息的CNN特征，，其中，和表示输入图像的宽和高，；在Transformer分支编码器中，SegFormer网络首先将输入图像划分为多个重叠的图像块，通过重叠特征块嵌入来提取图像特征；然后特征块经过4个堆叠的Transformer块，在经过每个Transformer块之后特征图的分辨率分别变为原图的，最终获得四个全局语义信息，，其中，和表示输入图像的宽和高，；S4、空间和语义特征对齐融合：将深度卷积神经网络提取的特征和Transformer提取的特征进行空间对齐和语义对齐，计算CNN分支待对齐特征和Transformer分支待对齐特征的特征值分布KL散度，在训练中反向传播更新网络参数，保证Transformer和CNN双分支编码器在空间和语义特征提取上的一致性，然后将对齐后特征进行融合；S5、多尺度特征融合：解码器阶段，用逐层上采样的方式，对语义对齐融合后的深层特征逐层恢复分辨率，同时与各阶段的空间对齐融合和语义对齐融合后的特征进行特征相加，最终获得四个不同尺度解码器特征，将四个不同尺度解码器特征统一采样至原图14分辨率大小，进行多尺度特征融合，将多尺度融合特征的预测概率值和标签真实值进行交叉熵损失计算，使用辅助损失函数对多尺度特征进行监督和反向传播；S6、分割预测：对融合特征上采样至原图分辨率大小，进行分割预测，得到最终的海陆图像分割结果；S7、网络模型训练：将海陆分割网络预测的分割结果与海陆真实分割标签进行交叉熵损失计算，通过反向传播更新网络参数，提升海陆分割网络预测结果准确性。

全文数据：

权利要求：

百度查询： 武汉理工大学三亚科教创新园 基于空间和语义对齐融合的海陆港口分割方法