买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：杭州电子科技大学

摘要：本发明公开了基于模态分歧差异融合的多光谱图像语义分割方法。本发明方法首先使用双流特征提取器获得RGB和Thermal图像特征；接着构建考虑模态分歧的四层差异融合模块，对语义分歧区域和语义一致区域进行差异化模态融合；再构建前景分割头获得前景掩膜，通过动态全连接解码器和语义分割头获得预测掩膜。本发明方法通过差异化融合建立语义一致和语义分歧区域的模态交互关系，刻画了高层与低层特征的语义关联，既能充分挖掘模态互补信息、降低模型计算量，又能准确定位细小物体和轮廓边缘，从而提升多光谱语义分割方法的性能。本方法能解决模型对于小物体和边界捕捉能力弱的问题，可应用于影视创作、服务机器人、智能巡检等实际场景。

主权项：1.基于模态分歧差异融合的多光谱图像语义分割方法，其特征在于，包括以下步骤：步骤（1）构建多光谱图像数据集合，所述多光谱图像数据集合中的图像数据包括：RGB模态图像和Thermal模态图像；利用4个级联的转换器网络构建得到一个特征编码器，使用2个特征编码器分别提取RGB模态图像和Thermal模态图像的特征表示；将提取RGB模态图像的特征编码器记为R,将提取Thermal模态图像的特征编码器记为T；组成R的4个级联的转换器网络，按顺序依次记为R1、R2、R3、R4；组成T的4个级联的转换器网络，按顺序依次记为T1、T2、T3、T4;2个所述特征编码器组成1个双流特征编码器；步骤（2）构建考虑模态分歧的差异融合模块，所述差异融合模块由4个差异融合子模块组成；每个差异融合子模块由语义分歧检测子模块、分歧协调子模块、语义增强子模块、通道混合子模块组成；所述4个差异融合子模块分别为差异融合子模块一、差异融合子模块二、差异融合子模块三、差异融合子模块四；RGB模态图像依次经过R1、R2、R3、R4处理后得到的特征，与Thermal模态图像依次经过T1、T2、T3、T4处理后得到的特征，共同输入至所述差异融合子模块四，得到第四层差异融合特征；步骤（3）构建前景分割头，所述前景分割头由两层全连接层和上采样模块组成，所述前景分割头的输入为，输出为前景掩膜，记为；步骤（4）将RGB模态图像经过R1处理后得到的特征，与Thermal模态图像经过T1处理后得到的特征输入差异融合子模块一，并将输入语义分歧检测子模块，得到第一层差异融合特征； 经过R2处理后得到的特征，与经过T2处理后得到的特征输入差异融合子模块二，并将输入语义分歧检测子模块，得到第二层差异融合特征； 经过R3处理后得到的特征，与经过T3处理后得到的特征输入差异融合子模块三，并将输入语义分歧检测子模块，得到第三层差异融合特征；步骤（5）构建全连接解码器和全连接语义分割头，得到由双流特征编码器、差异融合模块、前景分割头、全连接解码器和语义分割头组成的多光谱语义分割模型；所述全连接解码器的输入为，将所述全连接解码器的输出，直接输入所述全连接语义分割头，得到预测掩膜；基于预测掩膜对多光谱图像进行分割；步骤（6）基于交叉熵损失构建损失函数，利用随机梯度下降法优化多光谱语义分割模型，直至模型收敛。

全文数据：

权利要求：

百度查询： 杭州电子科技大学 基于模态分歧差异融合的多光谱图像语义分割方法