买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国矿业大学

摘要：本发明公开了一种基于降噪扩散概率模型的多源遥感图像语义分割方法及装置，包括基于Mamba的双分支主干网络和降噪扩散概率模型网络；通过基于Mamba的双分支主干网络对成对的原始光学图像和原始合成孔径雷达图像分四个阶段进行提取特征和特征融合得到四个阶段的多源融合特征，再将四个阶段的多源融合特征拼接成一个多尺度融合特征；在降噪扩散概率模型网络中，通过前向加噪模块对原始语义分割标签进行加噪，将多尺度融合特征与加噪后的原始语义分割标签拼接后的结果作为前向加噪模块的输出；通过噪声解码器对输入特征进行降噪操作，预测输入特征的语义分割标签。本发明对于多源遥感图像信息融合更加细致、语义分割准确率更高、细节信息更精确。

主权项：1.一种基于降噪扩散概率模型的多源遥感图像语义分割方法，其特征在于：包括如下步骤：Step1：获取多源遥感图像，包括光学图像、合成孔径雷达图像和用于训练的语义分割标签，对多源遥感图像进行裁剪与标准化处理，得到尺寸相同的原始多源遥感图像；Step2：将原始多源遥感图像按照比例划分为训练集和测试集，其中：训练集包括原始光学图像Otrain、原始合成孔径雷达图像Strain和原始语义分割标签Mtrain，测试集包括原始光学图像Otest和原始合成孔径雷达图像Stest；Step3：构建基于Mamba的双分支主干网络，包括两个并行的Mamba特征提取网络和一个特征融合网络，两个Mamba特征提取网络分别记为Mamba特征提取网络I和Mamba特征提取网络II；所述Mamba特征提取网络包括一个Stem卷积神经网络和四阶段的Mamba特征提取模块，四个阶段的Mamba特征提取模块分别包括2、2、15、2个串联的VSS特征提取模块和一个下采样模块；所述特征融合网络包括四阶段的多源特征融合模块和一个多尺度特征融合模块；将Otrain输入到Mamba特征提取网络I中，经Stem卷积神经网络进行四倍下采样后得到卷积特征feature1O_0，将feature1O_0作为Mamba特征提取网络I中的一阶段Mamba特征提取模块的输入；i＝1,2,3,4；将Strain输入到Mamba特征提取网络II中，经Stem卷积神经网络进行四倍下采样后得到卷积特征feature1S_0，将feature1S_0作为Mamba特征提取网络II中的一阶段Mamba特征提取模块的输入；将feature1O_i-1输入i阶段Mamba特征提取模块，经该阶段所有串联的VSS特征提取模块后得到输出特征Out1O_i，将feature1S_i-1输入i阶段Mamba特征提取模块，经该阶段所有串联的VSS特征提取模块得到输出特征Out1S_i；将Out1O_i和Out1S_i共同输入到i阶段多源特征融合模块进行多源特征交叉提取得到交叉特征Out2O_i和交叉特征Out2S_i，对Out1O_i和Out2O_i做残差连接得到多源特征OutO_i，对Out1S_i和Out2S_i做残差连接得到多源特征OutS_i；对OutO_i进行下采样得到i阶段Mamba特征提取模块的输出feature1O_i，对OutS_i行下采样得到i阶段Mamba特征提取模块的输出feature1S_i；在i阶段多源特征融合模块中，OutO_i与OutS_i相加得到多源融合特征Outf_i；将Outf_1、Outf_2、Outf_3、Outf_4输入多尺度特征融合模块，先统一尺寸再进行拼接，得到多尺度融合特征Outtrain；Step4：通过最近邻算法将Mtrain的尺寸调整为与Outtrain相同，并通过特征嵌入操作将Mtrain的通道数调整为与Outtrain相同，得到标签Mdown；Step5：在[0,0.999区间的均匀分布中进行随机采样得到一个噪声强度权值t，根据噪声强度权值t生成符合正态分布的噪声∈，的向量形状与Mdown相同；Step6：根据DDPM加噪算法，结合噪声强度权值t，使用噪声∈对标签Mdown进行加噪操作，得到加噪后的标签Mnoise；Step7：将Outtrain与Mnoise拼接后输入噪声解码器，根据DDPM去噪算法进行去噪操作，得到关于噪声强度权值t的预测标签Mhat；Step8：使用双线性插值法将Mhat的尺寸调整到与Mtrain一致，计算损失值；Step9：重复步骤Step5～Step8，直至损失值收敛，完成双分支主干网络的训练；Step10：将Otest和Stest输入到训练好的双分支主干网络，输出多尺度融合特征Outtest；生成符合正态分布的噪声∈，将Outtest与∈拼接后输入噪声解码器，根据DDPM去噪算法进行逐步去噪操作，重复去噪操作T次后，输出预测标签。

全文数据：

权利要求：

百度查询： 中国矿业大学 基于降噪扩散概率模型的多源遥感图像语义分割方法及装置