买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉山东科技大学申请的专利一种基于形状与语义增强的多模态图像语义分割方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115661455B 。

龙图腾网通过国家知识产权局官网在2026-01-23发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211340068.5，技术领域涉及：G06V10/26；该发明授权一种基于形状与语义增强的多模态图像语义分割方法是由单彩峰;杨元健;韩军功;陈宇设计研发完成，并于2022-10-28向国家知识产权局提交的专利申请。

本一种基于形状与语义增强的多模态图像语义分割方法在说明书摘要公布了：本发明公开了一种基于形状与语义增强的多模态图像语义分割方法，属于图像处理技术领域，包括如下步骤：从可见光传感器和热红外传感器中分别获取RGB图像和Thermal图像，并通过算法进行图像对齐，再统一图像大小，构建数据集；构建基于形状和语义增强的多模态图像语义分割网络模型；对多模态图像语义分割网络模型进行模型训练，保存训练完成且性能良好的网络模型；RGB传感器和Thermal传感器实时获取RGB图像和Thermal图像，输入当前训练完成且性能良好的网络模型，对当前图像进行语义分割。本发明具有即插即用的特性，可以和现有的语义分割网络结合，有效提高图像分割性能，可以推广到自动驾驶、医学影像分析等应用场景，预期创造可观的经济价值。

本发明授权一种基于形状与语义增强的多模态图像语义分割方法在权利要求书中公布了：1.一种基于形状与语义增强的多模态图像语义分割方法，其特征在于，包括如下步骤： 步骤1、从RGB传感器和Thermal传感器中分别获取RGB图像和Thermal图像，并通过标定算法进行图像对齐，再通过裁剪统一图像大小；由此构成数据集Q，将数据集Q划分为训练集Qtrain和测试集Qtest； 步骤2、构建基于形状和语义增强的多模态图像语义分割网络模型； 多模态图像语义分割网络的解码器端分为多阶段形状监督分支和语义监督分支，其中，语义监督分支包含多个通道级语义增强解码器块CLSE-D，每个CLSE-D包含通道级语义增强模块CLSE-M和解码器块Dj；多阶段形状监督分支使用符号距离图进行监督来保持分割结果的几何形状信息； 多模态图像语义分割网络模型的具体工作流程为： 步骤2.1、分别将传感器采集的RGB图像和Thermal图像数据输入到RGB编码器和Thermal编码器中，模态融合模块对编码器中的图像数据进行融合，得到特征，C表示特征通道数，H表示特征的高度，W表示特征的宽度； 步骤2.2、在语义监督分支，通过CLSE-D解码器块得到每层解码器的输出，如式1所示， 1 式中，表示上一层通道级语义增强解码器块的输出；表示通道级语义增强模块；表示第j个解码器块；表示通道级语义增强解码器块的输出特征； CLSE-D解码器块的具体工作过程为： 在CLSE-M模块中，首先将输入特征分别通过一个全局最大池化GMP和全局平均池化GAP，然后将输出结果进行对应像素相加，得到特征；接着通过一个1×1的卷积层Conv进行降维，得到特征，其中，然后通过ReLU激活函数和一个1×1卷积层进行升维，得到特征，最后通过如式2所示的Sigmoid激活函数得到加权系数，具体计算如式3所示；将得到的与输入特征进行加权相乘并相加得到，如式4所示；最后通过原始网络的解码器块得到CLSE-D的输出特征，如式5所示； 2 其中，x表示特征的每个像素值； 3 其中，表示逐个元素相加； 4 其中，表示逐个元素相乘； 5 步骤2.3、在多阶段形状监督分支，分别对语义监督分支的多阶段解码特征进行深度监督；首先将特征或通过一个1×1卷积进行降维，得到一个单通道的特征，然后通过标准的批量归一化层BN与随机纠正线性单元激活函数RReLU；如果输入是特征，还需与前一层的输出特征相加；最后通过双线性插值Up2进行两倍上采样得到，如式6和式7所示， 6 7 步骤3、对多模态图像语义分割网络模型进行模型训练，保存训练完成且性能良好的网络模型； 步骤4、RGB传感器和Thermal传感器实时获取RGB图像和Thermal图像，输入当前训练完成且性能良好的网络模型，对当前图像进行语义分割。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人山东科技大学，其通讯地址为：266590 山东省青岛市黄岛区前湾港路579号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。