买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国矿业大学

摘要：本发明属于计算机视觉技术领域，公开了一种基于高斯混合的变分动态融合网络的高光谱分类方法。首先，利用K近邻搜索构建两模态的多尺度空间图，并利用图卷积学习获得多尺度特征。提出基于高斯混合的空间拓扑约束，通过约束两模态的拓扑一致性，抑制光谱噪声干扰。然后，设计多尺度动态图聚合模块以捕获多尺度特征中可共享的类辨识信息，并通过挖掘适合当前样本的个性化融合模式提升模型对地物尺度变化的适应能力，实现对模态信息的充分挖掘。最后，推导了两模态联合分布的证据下界，构建了多模态VAE，通过优化证据下界建模多模态联合分布，学习模态间复杂的非线性关系，实现了多模态数据融合，提高了复杂场景下高光谱图像分类的精度。

主权项：1.一种基于高斯混合的变分动态融合网络的高光谱分类方法，其特征在于，包括如下步骤：步骤1，利用K近邻搜索构建两模态的多尺度空间图，并利用对多尺度空间图进行图卷积学习地物间的空间依赖关系，进而获得两模态的多尺度特征；其中，所述利用K近邻搜索构建两模态的多尺度空间图，具体包括如下步骤：首先，基于两个模态的K近邻搜索结果构造边缘集，得到两个节点之间依赖关系的邻接矩阵；然后，根据邻接矩阵，获得单一尺度空间图的边缘集，将每个地物都视作图节点，得到节点集，进而获得单一尺度空间图；最后，通过在高光谱和激光雷达空间图构建过程中设置不同的K近邻数量，获得两模态的多尺度空间图集合；所述利用对多尺度空间图进行图卷积学习地物间的空间依赖关系，进而获得两模态的多尺度特征，具体包括如下步骤：首先，根据多尺度空间图和邻接矩阵，获得对应的拉普拉斯矩阵并将其归一化；然后，对归一化拉普拉斯矩阵进行谱分解，将卷积操作进行简化计算后获得图卷积网络GCN的传播规则： 其中，A表示邻接矩阵，为的度矩阵，σ为激活函数，Hl为第l层图卷积的输出，Wl+1和bl+1分别为第l+1层图卷积中可学习的权重矩阵和偏置项；最后，输出高光谱的多尺度特征集合MH和激光雷达的多尺度特征集合ML： 步骤2，对两模态的多尺度特征进行聚合，得到高光谱的多尺度融合特征和激光雷达的多尺度融合特征具体步骤如下：首先，将多尺度特征集合中的各尺度特征视作图节点，将所述图节点与多尺度原型节点之间建立边连接，构建两模态的多尺度原型图；然后，计算两模态的多尺度原型图中尺度原型节点和各尺度节点之间的注意力系数；接着，根据激光雷达和高光谱的边缘特征ek动态生成节点聚合参数，用以聚合多尺度节点特征，获得多尺度融合特征HF： 其中，σ·为激活函数，PGN·为参数生成网络，αk为第k尺度节点的注意力系数，ek表示边缘特征最后，输出高光谱的多尺度融合特征和激光雷达的多尺度融合特征步骤3，构建多模态变体自动编码器VAE模块，将多尺度融合特征和激光雷达的多尺度融合特征输入到多模态VAE模块进行多模态特征学习，获得多模态特征，具体包括如下步骤：首先，获取高光谱和激光雷达多模态联合分布的证据下界；然后，根据该证据下界，构建多模态VAE，所述多模态VAE包括两模态的编码器和解码器、以及样本加权模块；两模态的编码器包括编码器Eφ和编码器Eψ，两模态的解码器包括解码器Dθ和解码器将多尺度融合特征和分别被输入编码器Eφ和Eψ中，得到后验分布的均值和方差： 之后，使用重参化技巧，获得两模态的隐变量ZH和ZL： 其中，εH和εL是从标准多元高斯分布中采样得到的接着，将两模态的隐变量输入解码器网络Dθ和中，对和进行重构，得到重构特征和并将对应的隐变量ZH输入解码器网络对进行重构，获得伪重构特征其次，计算伪重构特征和重构特征之间的差异，对样本进行加权，使得后验分布近似两个模态的联合分布，样本权重w可表示为： 多模态VAE模块的损失，表示为： 步骤4，将所述多模态特征输入分类器，进行地物分类。

全文数据：

权利要求：

百度查询： 中国矿业大学 一种基于高斯混合的变分动态融合网络的高光谱分类方法