买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明公开了一种基于多尺度注意力的多传感器遥感影像融合分类方法，采用三个不同尺度的影像输入，提取到不同尺度的特征，通过尺度注意力来为不同尺度特征重新赋以合适的权值，有效克服了传统方法在特征提取上的不足。同时，考虑到高光谱影像和LiDAR数据的之间的相互依赖和互补，使用模态注意力模块对联合特征和高光谱影像与LiDAR特征进行深度融合，利用特征提取过程中获得的特征生成更鲁棒的特征，从而提高分类精度。因此，本发明具有融合质量好、分类精度高、多模态数据交互能力强的特点。

主权项：1.一种基于多尺度注意力的多传感器遥感影像融合分类方法，其特征在于按如下步骤进行：步骤1.建立并初始化用于多传感器遥感影像融合与分类的卷积神经网络Nmsaf，所述Nmsaf包含1个用于多尺度特征提取的子网络Nfeature、1个用于多尺度特征融合的子网络Nfusion和1个用于分类的子网络Ncls；步骤1.1建立并初始化子网络Nfeature，含有8组卷积层，分别为Conv1、Conv2、Conv1_1、Conv2_1、Conv1_2、Conv2_2、Conv1_3、Conv2_3；所述Conv1包含1层卷积操作、1层BatchNorm归一化操作和1层激活操作，其中，卷积层中卷积核的大小为3×3，每个卷积核以1个像素为步长进行卷积运算，并选用非线性激活函数ReLU作为激活函数进行运算；所述Conv2包含1层卷积操作、1层BatchNorm归一化操作和1层激活操作，其中，卷积层中卷积核的大小为3×3，每个卷积核以1个像素为步长进行卷积运算，并选用非线性激活函数ReLU作为激活函数进行运算；所述Conv1_1包含1层卷积操作、1层BatchNorm归一化操作、1层激活操作和1层最大池化操作，其中，卷积层中卷积核的大小为3×3，每个卷积核以1个像素为步长进行卷积运算，并选用非线性激活函数ReLU作为激活函数进行运算，池化层以大小为2×2的池化核进行最大池化运算；所述Conv2_1包含1层卷积操作、1层BatchNorm归一化操作、1层激活操作和1层最大池化操作，其中，卷积层中卷积核的大小为3×3，每个卷积核以1个像素为步长进行卷积运算，并选用非线性激活函数ReLU作为激活函数进行运算，池化层以大小为2×2的池化核进行最大池化运算；所述Conv1_2包含1层卷积操作、1层BatchNorm归一化操作、1层激活操作和1层最大池化操作，其中，卷积层中卷积核的大小为3×3，每个卷积核以1个像素为步长进行卷积运算，并选用非线性激活函数ReLU作为激活函数进行运算，池化层以大小为2×2的池化核进行最大池化运算；所述Conv2_2包含1层卷积操作、1层BatchNorm归一化操作、1层激活操作和1层最大池化操作，其中，卷积层中卷积核的大小为3×3，每个卷积核以1个像素为步长进行卷积运算，并选用非线性激活函数ReLU作为激活函数进行运算，池化层以大小为2×2的池化核进行最大池化运算；所述Conv1_3包含1层卷积操作、1层BatchNorm归一化操作、1层激活操作和1层最大池化操作，其中，卷积层中卷积核的大小为3×3，每个卷积核以1个像素为步长进行卷积运算，并选用非线性激活函数ReLU作为激活函数进行运算，池化层以大小为2×2的池化核进行最大池化运算；所述Conv2_3包含1层卷积操作、1层BatchNorm归一化操作、1层激活操作和1层最大池化操作，其中，卷积层中卷积核的大小为3×3，每个卷积核以1个像素为步长进行卷积运算，并选用非线性激活函数ReLU作为激活函数进行运算，池化层以大小为2×2的池化核进行最大池化运算；步骤1.2.建立并初始化子网络Nfusion，含有2组自定义模块，分别为LSA、LMA；所述LSA模块首先对输入的3组特征张量F1、F2和F3通过展平与线性变换得到3组新的特征张量Fx_1、Fx_2和Fx_3，并将新的特征张量以第一个维度进行拼接，其中，cat·，·，·为拼接操作；F＝catFx_1，Fx_2，Fx_31将得到的融合特征F进行全局平均池化在空间上进行压缩：Favg＝avgpoolF2将得到的特征Favg通过全连接层fc·放缩成24个通道，使用Relu函数进行激活，再通过另一个全连接层fc1·将通道数映射为3：Fout＝fc1ReLUfcFavg3使用softmax函数得到三个权值，其中Fout_1、Fout_2和Fout_3是Fout三个通道维度上的不同特征张量： 将三个权值对应乘到三个不同尺度的特征上，得到最终的尺度注意力特征，其中，表示对应元素相乘： 所述LMA模块将输入的3组特征张量Fz、Fx、Fy分别送入卷积层Conv2_Q1、卷积层Conv2_K1和卷积层Conv2_V1中，分别计算得到特征{Qz，Kz，Vz}、{Qx，Kx，Vx}和{Qy，Ky，Vy}，其中，卷积层Conv2_Q1、卷积层Conv2_K1和卷积层Conv2_V1中卷积核的大小为1×1，每个卷积核以1个像素为步长进行卷积运算，根据公式6和公式7计算模态注意力权值；ωHMA＝softmaxQzKzTVx6ωLMA＝softmaxQzKzTVy7将得到的权重矩阵分别优化不同模态的特征，其中，λ1和λ2为两个动态加权系数，初始化为0.5，之后通过网络的学习过程自动训练和更新：FHJ＝Fx·λ1×ωHMA8FLJ＝Fy·λ2×ωLMA9最后，通过计算深度融合后的所有特征之和，得到最终的深层联合特征：Ff＝FHJ+FLJ10步骤1.3建立并初始化子网络Ncls，含有2组卷积层，为Conv3、Conv4，以及1组全连接层Dense；所述Conv3包含1层卷积操作，卷积层中卷积核的大小为1×1，每个卷积核以1个像素为步长进行卷积运算；所述Conv4包含1层卷积操作、1层BatchNorm归一化操作、1层激活操作和1层平均池化操作，其中，卷积层中卷积核的大小为1×1，每个卷积核以1个像素为步长进行卷积运算，并选用非线性激活函数ReLU作为激活函数进行运算，池化层以大小为2×2的池化核进行最大池化运算；所述Dense1有num个分类单元，并采取Softmax作为激活函数，其中，num表示待分类的地物类别总数；步骤2.输入高光谱影像的训练集H、LiDAR影像的训练集L、人工已标注的像元点坐标集和标签集，对Nmsaf进行训练；步骤2.1.根据人工已标注的像元点坐标集，在高光谱影像的训练集H中提取全部具有标签的像元点集合XH＝{xH，i|i＝1，...，M}，并在LiDAR影像的训练集L中提取全部具有标签的像元点集合XL＝{xL，i|i＝1，...，M}，其中，xH，i表示XH中的第i个像元点，xL，i表示XL中的第i个像元点，M表示具有标签的像元点总数；步骤2.2.根据公式9和公式10的定义对XH和XL进行标准化处理，得到和其中，表示标准化后的具有标签的高光谱影像像元点集合，表示的第i个像元点，表示标准化后的具有标签的LiDAR像元点集合，表示的第i个像元点； 步骤2.3.以的每个像元点为中心将H分割成一系列大小为8×8、16×16、24×24的高光谱像元块集合并以的每个像元点为中心将L分割成一系列大小为8×8、16×16、24×24的LiDAR像元块集合步骤2.4.将和作为融合分类神经网络的训练集，并将训练集中的样本整合为三元组的形式作为网络数据输入，其中，表示训练集中高光谱影像和LiDAR影像所组成的像元对，且和的空间坐标相同，Yi表示和对应的真实类别标签，令迭代次数iter←1，执行步骤2.5至步骤2.8；步骤2.5.采用子网络Nfeature提取训练集的特征；步骤2.5.1利用子网络Nfeature中Conv1层和Conv1_1层对高光谱影像的训练集进行特征提取，得到高光谱影像的小尺度特征FH1；步骤2.5.2利用子网络Nfeature中Conv1层和Conv1_2层对高光谱影像的训练集进行特征提取，得到高光谱影像的中尺度特征FH2；步骤2.5.3利用子网络Nfeature中Conv1层和Conv1_3层对高光谱影像的训练集进行特征提取，得到高光谱影像的大尺度特征FH3；步骤2.5.4利用子网络Nfeature中Conv2层和Conv2_1层对LiDAR的训练集进行特征提取，得到LiDAR的小尺度特征FL1；步骤2.5.5利用子网络Nfeature中Conv2层和Conv2_2层对LiDAR的训练集进行特征提取，得到LiDAR的中尺度特征FL2；步骤2.5.6利用子网络Nfeature中Conv2层和Conv2_3层对LiDAR的训练集进行特征提取，得到LiDAR的大尺度特征FL3；步骤2.6.采用子网络Nfusion进行多尺度特征融合，进而得到深层特征FM；步骤2.7采用子网络Ncls对深层特征进行分类，计算得出分类预测结果TRpred；步骤2.8根据公式13和公式14的定义，将加权的交叉熵作为损失函数； 其中，ωj表示第j类的权重，表示像元属于第j类地物的概率，nj表示ground-truth训练样本中第j类地物的数量；步骤2.9若训练集中的所有像元块均已处理完毕，则转入步骤2.10，否则，从训练集中取出一组未处理的像元块，返回步骤2.4；步骤2.10令iter←iter+1，若迭代次数iterTotal_iter，则得到了已训练好的卷积神经网络Nmsaf，转入步骤3，否则，利用基于随机梯度下降法的反向误差传播算法和预测损失Lω-C更新Nmsaf的参数，转入步骤2.4重新处理训练集中的所有像元块，所述Total_iter表示预设的迭代次数；步骤3输入待测试的高光谱影像H′和LiDAR影像L′，对H′和L′的全部像元进行数据预处理，并采用已完成训练的卷积神经网络Nmsaf完成像元分类；步骤3.1.在H′中提取全部像元点组成集合TH＝{tH，i|i＝1，...，U}，在L′中提取全部像元点组成集合TL＝{tL，i|i＝1，...，U}，其中，tH，i表示TH的第i个像元，tL，i表示TL的第i个像元，U表示全部像元的总数；步骤3.2.根据公式15和公式16的定义对TH和TL进行标准化处理，得到和其中，表示标准化后的具有标签的高光谱影像像元点集合，表示的第i个像元点，表示标准化后的具有标签的LiDAR像元点集合，表示的第i个像元点； 步骤3.3.以的每个像元点为中心将H′分割成一系列大小为8×8、16×16、24×24的高光谱像元块集合，组成高光谱影像测试集再并以的每个像元点为中心将L′分割成一系列大小为8×8、16×16、24×24的LiDAR像元块集合，组成LiDAR影像测试集步骤3.4.采用子网络Nfeature提取待测试的图像特征；步骤3.4.1利用子网络Nfeature中Conv1层和Conv1_1层对高光谱影像的测试集进行特征提取，得到高光谱影像的小尺度特征FH1′；步骤3.4.2利用子网络Nfeature中Conv1层和Conv1_2层对高光谱影像的测试集进行特征提取，得到高光谱影像的中尺度特征FH2′；步骤3.4.3利用子网络Nfeature中Conv1层和Conv1_3层对高光谱影像的测试集进行特征提取，得到高光谱影像的大尺度特征FH3′；步骤3.4.4利用子网络Nfeature中Conv2层和Conv2_1层对LiDAR的测试集进行特征提取，得到LiDAR的小尺度特征FL1′；步骤3.4.5利用子网络Nfeature中Conv2层和Conv2_2层对LiDAR的测试集进行特征提取，得到LiDAR的中尺度特征FL2′；步骤3.4.6利用子网络Nfeature中Conv2层和Conv23层对LiDAR的测试集进行特征提取，得到LiDAR的大尺度特征FL3′；步骤3.5.采用子网络Nfusion进行多尺度特征融合，进而得到深层特征FM′；步骤3.6采用子网络Ncls对深层特征FM′进行分类，从而计算得出分类预测结果TEpred。

全文数据：

权利要求：

百度查询： 辽宁师范大学 基于多尺度注意力的多传感器遥感影像融合分类方法