买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉武汉大学申请的专利一种基于多模态关系建模与融合网络的鲁棒性地物分类方法和系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119339226B 。

龙图腾网通过国家知识产权局官网在2025-10-31发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411235733.3，技术领域涉及：G06V20/10；该发明授权一种基于多模态关系建模与融合网络的鲁棒性地物分类方法和系统是由彭依妮;田昕;刘芮设计研发完成，并于2024-09-04向国家知识产权局提交的专利申请。

本一种基于多模态关系建模与融合网络的鲁棒性地物分类方法和系统在说明书摘要公布了：本发明提出了一种基于多模态关系建模与融合网络的鲁棒性地物分类方法和系统。首先通过分析模态间和模态内的潜在关系，提出高频信息对应模态内特有特征，低频信息对应模态间共享特征的假设，对多模态间关系进行建模，以实现有效的特征提取，为后续特征融合奠定基础。同时，基于模态内特有特征不相关，而模态间共享特征相关的准则，对提取的特有特征和共享特征进行关联约束，以实现进一步优化特征融合过程，并引导优化特征提取过程。基于特征提取和特征融合过程的互促进，实现多模态特征的有效提取，以完成输入模态缺失场景下的高精度、鲁棒性多模态融合学习。最后通过实验证明本发明的总体地物分类精度优于已有方法的结果。

本发明授权一种基于多模态关系建模与融合网络的鲁棒性地物分类方法和系统在权利要求书中公布了：1.一种基于多模态关系建模与融合网络的鲁棒性地物分类方法，其特征在于，包括如下步骤： 步骤一，获取同一探测目标或场景的多模态遥感数据，对每个模态的遥感数据进行归一化处理后并裁剪，得到固定尺寸的数据块； 步骤二，构建用于鲁棒性遥感图像地物分类的多模态关系建模与融合网络，所述的多模态关系建模与融合网络包括初始化编码器、特有编码器和共享编码器组成的双分支结构和跨模态融合模块，并将裁剪后的数据块作为输入； 所述的初始化编码器用于对输入网络的数据块进行特征提取，得到模态基特征； 所述的特有编码器和共享编码器组成的双分支结构包括特有编码器和共享编码器两部分；特有编码器用于从提取的模态基特征中进一步提取模态内特有特征，共享编码器用于从提取的模态基特征中进一步提取模态间共享特征；对输入网络的每个模态的数据块都提取得到其模态内特有特征和模态间共享特征后，将所有模态内特有特征和模态间共享特征分别相加求和，得到总模态内特有特征和总模态间共享特征； 所述的共享编码器由若干个ConvNeXt卷积模块和卷积模块依次交错连接组成；所述的ConvNeXt卷积模块包括卷积层，LayerNorm归一化层，全连接层，GELU激活函数层，全连接层和一个残差分支；所述的残差分支将输入共享编码器的模态基特征与ConvNeXt卷积模块输出的特征相加；所述的卷积模块包括LayerNorm归一化层和卷积层； 所述的跨模态融合模块用于实现总模态内特有特征和总模态间共享特征的融合，得到融合特征； 在跨模态融合模块中，将总模态内特有特征和总模态间共享特征作为输入，其中，总模态内特有特征首先经过LayerNorm归一化层处理，得到的结果作为查询特征Q，总模态间共享特征经过LayerNorm归一化层处理，得到的结果作为键特征K和值特征V；然后，将Q，K和V三个特征输入到注意力模块，得到的结果与Q相加后依次经过LayerNorm归一化层，卷积层，BatchNorm归一化层和ReLU激活函数层处理，得到融合特征；实现过程表示为： 其中，是跨模态融合模块，是跨模态融合模块输出的融合特征；注意力模块包括点积运算层，尺度变换层，掩码层，SoftMax激活函数层和点积运算层；对Q和K进行点积运算后，将结果依次经过尺度变换层，掩码层和SoftMax激活函数层运算，并将得到的结果与V进行点积运算后输出；所述Softmax激活函数的表达式为： 其中：为Softmax激活函数的输入特征的元素总数，和分别为特征中的第个元素和第个元素； 最后，融合特征通过全局平均池化层和全连接层得到地物分类结果； 步骤三，结合损失函数在模态缺失场景下训练多模态关系建模与融合网络，并利用训练好的网络实现鲁棒性遥感图像地物分类。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人武汉大学，其通讯地址为：430072 湖北省武汉市武昌区八一路299号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。