买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉无锡学院申请的专利一种模态缺失条件下多模态遥感图像融合分类方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119580101B 。

龙图腾网通过国家知识产权局官网在2025-05-09发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510130910.X，技术领域涉及：G06V20/10；该发明授权一种模态缺失条件下多模态遥感图像融合分类方法是由魏建芬;张力予设计研发完成，并于2025-02-06向国家知识产权局提交的专利申请。

本一种模态缺失条件下多模态遥感图像融合分类方法在说明书摘要公布了：本发明公开了一种模态缺失条件下多模态遥感图像融合分类方法，通过构建多模态遥感图模型像融合分类模型，以三种遥感图像模态的数据作为输入，每种模态数据先通过各自的特定特征编码器和一个共享特征编码器进行特征提取，然后将特定特征和共享特征融合，并采用跳跃链接生成单模态融合特征，最后，将三个模态的融合特征再次融合，生成最终的融合特征用于模型预测。本发明在模型中引入了两个辅助任务，一个是基于特定特征的域分类任务，另一个是针对共享特征的对比学习任务。本发明模型不仅适用于全模态训练，在部分模态缺失的情况下，依然有效提取和融合多模态特征，提升模型的分类性能。

本发明授权一种模态缺失条件下多模态遥感图像融合分类方法在权利要求书中公布了：1.一种模态缺失条件下多模态遥感图像融合分类方法，其特征在于，用特定编码器提取各模态特定特征和用共享编码器提取模态间共享特征，同时用两个辅助任务分别学习特定特征和共享特征，包括以下步骤：S1、获取覆盖相同区域的多模态数据构建多模态数据集并进行预处理，多模态数据集包括：高光谱图像数据、DSM图像数据以及SAR图像数据三种图像数据或者其中一至两种图像数据分别提取的若干真实像素，以及对应的分类标签；S2、以高光谱图像数据、DSM图像数据以及SAR图像数据三种图像数据或者其中一至两种图像数据分别提取的若干真实像素分别为输入，对应特定特征为输出，构建特定特征编码器；特定特征编码器对高光谱图像数据、DSM图像数据以及SAR图像数据三种图像数据或者其中一至两种图像数据分别提取的若干真实像素提取特定特征，如下式： 其中，Xi表示高光谱图像数据、DSM图像数据或SAR图像数据的像素，i∈{1,2,3}，fspecific代表特定特征编码器；以高光谱图像数据、DSM图像数据以及SAR图像数据三种图像数据或者其中一至两种图像数据连接起来作为输入，得到各自模态对应的共享特征为输出，构建共享特征编码器；共享特征编码器对高光谱图像数据、DSM图像数据以及SAR图像数据三种图像数据或者其中一至两种图像数据提取各自模态对应的共享特征，如下式： 其中，Xi表示高光谱图像数据、DSM图像数据或SAR图像数据像素，i∈{1,2,3}，fshared代表共享特征编码器；S3、以特定特征、以及共享特征为输入，最终特征为输出，构建残差融合模块；具体包括以下子步骤：S3.1、残差融合模块对特定特征和共享特征在通道维度上进行拼接，并通过投影操作后，将其输出作为残差添加到共享特征中，形成更加语义丰富的模态嵌入fi如下表达式： 其中，fproj代表投影操作，若一种模态缺失，缺失的模态嵌入由其余存在模态的共享特征平均得到；S3.2、将得到的各模态的模态嵌入fi进行拼接形成最终的特征表示f；特定编码器和共享编码器的构建部分是相同的，均首先由三个3×3卷积块提取局部特征，每个卷积包含卷积层、批量归一化层和ReLU激活函数，使用多种不同尺寸的卷积操作，包含1×1卷积、3×3卷积和全局平均池化来进一步提取多尺度特征，捕捉多层次空间信息，最后，通过1×1卷积和池化操作对特征进行降维，并通过拼接不同卷积分支的特征来增强最终的表征能力；S4、以最终特征为输入、对应的分类标签为输出构建预测模块；S5、基于步骤S1至步骤S4的特定特征编码器、共享特征编码器、残差融合模块、以及预测模块构建多模态遥感图像融合分类网络，以步骤S1的多模态数据集训练多模态遥感图像融合分类网络，获得多模态遥感图模型像融合分类模型；在训练多模态遥感图像融合分类网络时，进行总损失优化，包括利用对比损失函数最小化不同模态同一位置对相似特征之间的距离，最大化不同位置对特征之间的差异；利用域分类损失函数辅助特定特征的学习；利用主分类任务损失函数指导预测结果；S6、将采集的高光谱图像数据、DSM图像数据、以及SAR图像数据中三种或者一至两种数据输入至多模态遥感图模型像融合分类模型，获得分类标签，即地形的分类结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人无锡学院，其通讯地址为：214105 江苏省无锡市锡山区锡山大道333号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。