买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明公开了一种基于三模态对比学习蒸馏的多模态城市场景解析网络的城市场景解析预测方法，涉及深度学习技术领域。包括获取原始城市场景图像和与原始城市图像对应的热红外图像、真实城市场景解析图像，将真实城市场景解析图像转换为热编码图像作为热力图数据集，构建多光谱图像增强生成彩色图数据集，将热力图数据集和彩色图数据集按照一定比例分为训练集和测试集，构建教师变压器网络和学生变压器网络，将训练集分别输入教师变压器网络和学生网络，构建知识蒸馏模型，训练好的学生变压器网络利用知识蒸馏模型学习训练好的教师变压器网络，得到学习好的学生变压器网络并测试，得到城市场景预测解析图。本发明有助于在资源受限的设备上执行高精度和高效的城市场景解析任务。

主权项：1.一种基于三模态对比学习蒸馏的多模态城市场景解析网络的城市场景解析预测方法，其特征在于，包括训练阶段和测试阶段两个过程；训练阶段包括以下步骤：S1-1、获取原始城市场景图像和与原始城市图像对应的热红外图像、真实城市场景解析图像，生成初始数据集；S1-2、将初始数据集中的真实城市场景解析图像转换成独热编码图像作为热力图数据集，将初始数据集中的原始城市场景图像和对应的热红外图像构建多光谱图像，对多光谱图像数据增强生成彩色图数据集，将热力图数据集和彩色图数据集按照一定比例分为训练集和测试集；S1-3、构建教师变压器网络；S1-4、将训练集数据增强后输入至教师变压器网络中，输出语义分割预测图像和二值分割预测图像S1-5、采用交叉熵损失函数评估S2中独热编码图像与语义分割预测图像的误差损失值，采用混合对比学习相似度损失函数评估S2中独热编码图像和二值分割预测图像与语义分割预测图像和二值分割预测图像之间的类内类间相似度差距损失值，将误差损失值和类内类间相似度差距损失值累加构成总损失值；S1-6、重复步骤S1-4-S1-5共V次至变压器网络收敛，且损失函数的值降到最低点得到训练好的教师变压器网络，将与最低损失值对应的权重和偏置设置为最优权重向量Wt_best和最优偏置bt_best；S1-7、构建学生变压器网络，重复步骤S1-4-S1-5共V次至变压器网络收敛，且损失函数的值降到最低点得到训练好的学生变压器网络，将与最低损失值对应的权重和偏置设置为最优权重向量Ws_best和最优偏置bs_best；S1-8、构建包括软标签响应关系蒸馏和多尺度图关系蒸馏的知识蒸馏，软标签响应关系蒸馏使用真实标签校正教师变压器网络输出，获得校正后的教师输出与学生输出之间建立的相关性损失函数，多尺度图关系蒸馏用于构建多尺度图，对多尺度图卷积获得多尺度增强的教师特征与多尺度增强的学生特征并建立相关损失函数；S1-9、重复步骤S1-4、S1-5和S1-8至变压器网络稳定收敛且损失函数的值降到最低点得到学习好的学生变压器网络，将与最低损失值对应的权重和偏置设置为最优权重向量Wkd_best和最优偏置bkd_best；测试阶段包括以下步骤：S2-1、选取测试集中的第P组待检测的城市场景图像，并标记为Ip，其中，1≤p≤P；S2-2、将第P组待检测的城市场景图像的各种通道分量输入到学习好的学生变压器网络，获得原城市场景图像对应的城市场景解析预测图，记作

全文数据：

权利要求：

百度查询： 银江技术股份有限公司 一种基于三模态对比学习蒸馏的多模态城市场景解析网络的城市场景解析预测方法