买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：佛山大学

摘要：本申请属于图像处理技术领域，公开了一种基于条件扩散概率模型的多模态图像融合与超分辨率方法，对多模态的源图像进行模糊处理和融合处理，得到模糊图像和真值融合图像，用以对包含多模态信息融合模块和迭代去噪模块的条件扩散概率模型进行训练，使条件扩散概率模型能够对多模态图像进行融合的同时完成迭代去噪，得到分辨率相对源图像更高的融合图像，并恢复源图像中被退化的细节和纹理信息，实用性较高。

主权项：1.一种基于条件扩散概率模型的多模态图像融合与超分辨率方法，其特征在于，包括步骤：A1.获取多组用于训练的源图像；每组所述源图像包括配准的第一模态图像和第二模态图像；A2.对各组所述源图像进行模糊处理和融合处理，得到对应的模糊第一模态图像、模糊第二模态图像和真值融合图像；A3.构建条件扩散概率模型，并利用各组所述源图像对应的所述模糊第一模态图像、所述模糊第二模态图像和所述真值融合图像训练所述条件扩散概率模型，得到训练好的条件扩散概率模型；所述条件扩散概率模型包括多模态信息融合模块（1）和迭代去噪模块（2）；A4.利用所述训练好的条件扩散概率模型对配准的待融合第一模态图像和待融合第二模态图像进行融合；所述第一模态图像和所述待融合第一模态图像为可见光图像，所述第二模态图像和所述待融合第二模态图像为红外图像；所述多模态信息融合模块（1）包括一个第一二维卷积层，所述第一二维卷积层的卷积核大小为3×3，步长为1；所述迭代去噪模块（2）包括依次连接的下采样模块（3）、中间模块（4）、上采样模块（5）和第一子模块；所述下采样模块（3）包括若干个第一残差模块（6）、若干个第二残差模块（7）、若干个第三残差模块（8）、若干个第四残差模块（9）以及若干个下采样卷积块（10）；所述中间模块（4）包括若干个第一残差模块（6）和若干个第二残差模块（7）；所述上采样模块（5）包括若干个第三残差模块（8）、若干个第四残差模块（9）以及若干个上采样卷积块（11）；所述下采样模块（3）和所述上采样模块（5）组成U-Net结构；所述第一残差模块（6）包括依次连接的第一子模块、特征维度细化层和第二子模块，还包括第一Identity激活函数层，在所述第一残差模块（6）中，所述第一Identity激活函数层的输入端与所述第一子模块的输入端连接，所述第一Identity激活函数层的输出与所述第二子模块的输出相加作为所述第一残差模块（6）的输出；所述第二残差模块（7）包括依次连接的第一残差模块（6）和自注意力模块；所述第三残差模块（8）包括依次连接的第一子模块、特征维度细化层和第二子模块，还包括第二二维卷积层，在所述第三残差模块（8）中，所述第二二维卷积层的输入端与所述第一子模块的输入端连接，所述第二二维卷积层的输出与所述第二子模块的输出相加作为所述第三残差模块（8）的输出；所述第四残差模块（9）包括依次连接的第三残差模块（8）和自注意力模块；所述第一子模块包括依次连接的GroupNorm归一化函数层、Swish激活函数层、第二Identity激活函数层和第三二维卷积层；所述第二子模块包括依次连接的GroupNorm归一化函数层、Swish激活函数层、Dropout正则化函数层和第三二维卷积层；下采样模块（3）包括六个第一残差模块（6）、一个第二残差模块（7）、两个第三残差模块（8）、一个第四残差模块（9）以及四个下采样卷积块（10），这些模块按照以下顺序从前到后依次连接：第一残差模块（6）、第一残差模块（6）、下采样卷积块（10）、第三残差模块（8）、第一残差模块（6）、下采样卷积块（10）、第三残差模块（8）、第一残差模块（6）、下采样卷积块（10）、第四残差模块（9）、第二残差模块（7）、下采样卷积块（10）、第一残差模块（6）、第一残差模块（6）；中间模块（4）包括一个第二残差模块（7）和一个第一残差模块（6），这些模块按照以下顺序从前到后依次连接：第二残差模块（7）、第一残差模块（6）；上采样模块（5）包括十一个第三残差模块（8）、三个第四残差模块（9）以及四个上采样卷积块（11），按照以下顺序从前到后依次连接：第三残差模块（8）、第三残差模块（8）、第三残差模块（8）、上采样卷积块（11）、第四残差模块（9）、第四残差模块（9）、第四残差模块（9）、上采样卷积块（11）、第三残差模块（8）、第三残差模块（8）、第三残差模块（8）、上采样卷积块（11）、第三残差模块（8）、第三残差模块（8）、第三残差模块（8）、上采样卷积块（11）、第三残差模块（8）、第三残差模块（8）；从前到后对下采样模块（3）中的各模块进行排序，并从前到后对上采样模块（5）中除上采样卷积块（11）以外的模块进行排序，下采样模块（3）中的第i个模块与上采样模块（5）中除上采样卷积块（11）以外的第15-i个模块跳跃连接，i=1,2，…，14；所述下采样卷积块（10）为卷积核大小为3×3、步长为2的二维卷积层；所述上采样卷积块（11）为卷积核大小为3×3，步长为1的二维卷积层。

全文数据：

权利要求：

百度查询： 佛山大学 基于条件扩散概率模型的多模态图像融合与超分辨率方法