买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明提供一种多模态图像融合模型训练方法、系统和多模态图像融合方法，属于图像处理技术领域，训练方法包括将初始源图像对分别输入至教师网络和学生网络，以确定教师网络综合损失，以教师网络的综合损失和动态更新损失训练教师网络，将训练好的教师网络作为教师模型；确定学生网络的综合损失；初始源图像对输入至教师模型中，根据教师模型输出的缓冲特征图和第三融合图像以及学生网络输出的编码特征图和第二融合图像确定蒸馏损失，根据蒸馏损失以及学生网络的综合损失和动态更新损失训练学生网络，并将训练好的学生网络作为多模态图像融合模型。本发明的多模态图像融合模型以合理的损失函数处理源图像对，能够较好地保留融合结果细节信息。

主权项：1.一种多模态图像融合模型训练方法，其特征在于，包括：获取第一源图像和第二源图像，以作为初始源图像对；将初始源图像对输入至教师网络中，得到第一融合图像；根据第一融合图像确定教师网络的综合损失；确定教师网络的动态更新损失；根据教师网络的综合损失和动态更新损失训练教师网络，并将训练好的教师网络作为教师模型；将初始源图像对输入至学生网络中，得到编码特征图和第二融合图像；将初始源图像对输入至教师模型中，得到缓冲特征图和第三融合图像；根据第二融合图像确定学生网络的综合损失；确定学生网络的动态更新损失；根据编码特征图、缓冲特征图、第二融合图像和第三融合图像确定蒸馏损失；根据学生网络的综合损失、学生网络的动态更新损失和蒸馏损失训练学生网络，并将训练好的学生网络作为多模态图像融合模型；其中，所述根据第一融合图像确定教师网络的综合损失，包括：根据以下公式计算教师网络像素强度损失Lint_1： ；其中，H为第一源图像的高；W为第一源图像的宽；Otea为第一融合图像像素矩阵；I1表示第一源图像；I2表示第二源图像；maxI1,I2表示取第一源图像像素矩阵和第二源图像像素矩阵的最大值；||·||1表示矩阵1-范数；根据以下公式计算教师网络梯度损失Lgrad_1： ；其中，表示拉普拉斯算子；||·||F表示矩阵Frobenius范数；根据以下公式计算教师网络多层感知损失Lpercep_1： ；其中，Dt为第t层特征图的通道总数；Фt,k·表示目标图像第t层第k个通道的特征图；Ht为第t层特征图的高度；Wt为第t层特征图的宽度；根据以下公式计算教师网络的综合损失Lcomp_1：Lcomp_1=α1Lint_1+β1Lgrad_1+Lpercep_1；其中，α1为教师网络像素强度损失的系数；β1为教师网络梯度损失的系数；所述确定教师网络的动态更新损失，包括：获取当前教师网络输出的融合图像，以作为第一中间图像；获取教师网络在第一中间图像前输出的结构相似度最大的融合图像，以作为第二中间图像；获取教师网络在第一中间图像前输出的梯度幅度相似度偏差最小的融合图像，以作为第三中间图像；根据以下公式计算初始源图像对分别与第二中间图像和第一中间图像的结构相似度： ；其中，Steabs为第一源图像I1和第二源图像I2分别与第二中间图像Oteabs的结构相似度之和；Steacur为第一源图像I1和第二源图像I2分别与第一中间图像Oteacur的结构相似度之和；SSIM·为结构相似度运算符；根据以下公式计算初始源图像对分别与第三中间图像和第一中间图像的梯度幅度相似度偏差： ；其中，Gteabg为第一源图像I1和第二源图像I2分别与第三中间图像Oteabg的梯度幅度相似度偏差之和；Gteacur为第一源图像I1和第二源图像I2分别与第一中间图像Oteacur的梯度幅度相似度偏差之和；GMSD·为梯度幅度相似度偏差运算符；如果Steabs＞Steacur，则以第二中间图像为教师网络在当前输出的结构相似度最大的融合图像；如果Steabs＜Steacur，则以第一中间图像为教师网络在当前输出的结构相似度最大的融合图像；如果Gteabg＜Gteacur，则以第三中间图像为教师网络在当前输出的梯度幅度相似度偏差最小的融合图像；如果Gteabg＞Gteacur，则以第一中间图像为教师网络在当前输出的梯度幅度相似度偏差最小的融合图像；在Steabs＞Steacur的情况下，根据以下公式计算第一深层监督损失Lteas： ；在Gteabg＜Gteacur的情况下，根据以下公式计算第一浅层监督损失Lteag： ；其中，Ht为第t层特征图的高度；Wt为第t层特征图的宽度；Dt为第t层特征图的通道总数；Фt,k·表示目标图像第t层第k个通道的特征图；H1为第二中间图像的高；W1为第二中间图像的宽；H2为第三中间图像的高；W2为第三中间图像的宽；根据以下公式计算教师网络的动态更新损失Lrefresh_1：Lrefresh_1=Steabs-SteacurLteas+Gteacur-GteabgLteag；所述根据教师网络的综合损失和动态更新损失训练教师网络，并将训练好的教师网络作为教师模型，包括：根据以下公式计算教师模型的总损失Lteacher：Lteacher=λ1Lcomp_1+Lrefresh_1；其中，λ1为教师网络的综合损失Lcomp_1的系数；Lrefresh_1为教师网络的动态更新损失；所述根据第二融合图像确定学生网络的综合损失，包括：根据以下公式计算学生网络像素强度损失Lint_2： ；其中，Ostu为第二融合图像像素矩阵；根据以下公式计算学生网络梯度损失Lgrad_2： ；根据以下公式计算学生网络多层感知损失Lpercep_2： ；根据以下公式计算学生网络的综合损失Lcomp_2：Lcomp_2=α2Lint_2+β2Lgrad_2+Lpercep_2；其中，α2为学生网络像素强度损失的系数；β2为学生网络梯度损失的系数；所述确定学生网络的动态更新损失，包括：获取当前学生网络输出的融合图像，以作为第四中间图像；获取学生网络在第四中间图像前输出的结构相似度最大的融合图像，以作为第五中间图像；获取学生网络在第四中间图像前输出的梯度幅度相似度偏差最小的融合图像，以作为第六中间图像；根据以下公式计算初始源图像对分别与第五中间图像和第四中间图像的结构相似度： ；其中，Sstubs为第一源图像I1和第二源图像I2分别与第五中间图像Ostubs的结构相似度之和；Sstucur为第一源图像I1和第二源图像I2分别与第四中间图像Ostucur的结构相似度之和；根据以下公式计算初始源图像对分别与第六中间图像和第四中间图像的梯度幅度相似度偏差： ；其中，Gstubg为第一源图像I1和第二源图像I2分别与第六中间图像Ostubg的梯度幅度相似度偏差之和；Gstucur为第一源图像I1和第二源图像I2分别与第四中间图像Ostucur的梯度幅度相似度偏差之和；如果Sstubs＞Sstucur，则以第五中间图像为学生网络在当前输出的结构相似度最大的融合图像；如果Sstubs＜Sstucur，则以第四中间图像为学生网络在当前输出的结构相似度最大的融合图像；如果Gstubg＜Gstucur，则以第六中间图像为学生网络在当前输出的梯度幅度相似度偏差最小的融合图像；如果Gstubg＞Gstucur，则以第四中间图像为学生网络在当前输出的梯度幅度相似度偏差最小的融合图像；在Sstubs＞Sstucur的情况下，根据以下公式计算第二深层监督损失Lstus： ；在Gstubg＜Gstucur的情况下，根据以下公式计算第二浅层监督损失Lstug： ；其中，H3为第五中间图像的高；W3为第五中间图像的宽；H4为第六中间图像的高；W4为第六中间图像的宽；根据以下公式计算学生网络的动态更新损失Lrefresh_2：Lrefresh_2=Sstubs-SstucurLstus+Gstucur-GstubgLstug；所述根据编码特征图、缓冲特征图、第二融合图像和第三融合图像确定蒸馏损失，包括：根据以下公式计算蒸馏损失Ldistill： ；其中，||·||2表示向量2-范数；vec·表示向量化运算；；F·为跨通道空间映射函数；X为有C个通道的特征图；xj为X中的第j个通道的特征图；i=1时，T1表示编码特征图，S1表示缓冲特征图；i=2时，T2表示第二融合图像，S2表示第三融合图像；所述根据学生网络的综合损失、学生网络的动态更新损失和蒸馏损失训练学生网络，并将训练好的学生网络作为多模态图像融合模型，包括：根据以下公式计算多模态图像融合模型的总损失Lstudent：Lstudent=θLdistill+λ2Lcomp_2+Lrefresh_2；其中，θ为蒸馏损失Ldistill的系数；λ2为学生网络的综合损失Lcomp_2的系数；Lrefresh_2为学生网络的动态更新损失。

全文数据：

权利要求：

百度查询： 江南大学 江苏数伽科技有限公司 多模态图像融合模型训练方法、系统和多模态图像融合方法