江西师范大学谢建文获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉江西师范大学申请的专利基于可见光相关性特征融合的红外图像超分辨率重建方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120339079B 。
龙图腾网通过国家知识产权局官网在2025-08-29发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510829165.8,技术领域涉及:G06T3/4053;该发明授权基于可见光相关性特征融合的红外图像超分辨率重建方法是由谢建文;胡蕾;李云洪;邹凯宇设计研发完成,并于2025-06-20向国家知识产权局提交的专利申请。
本基于可见光相关性特征融合的红外图像超分辨率重建方法在说明书摘要公布了:本发明公开了基于可见光相关性特征融合的红外图像超分辨率重建方法,属于图像处理技术领域。本发明将上采样低分辨率红外图像输入到可学习纹理提取模块,从中提取查询特征;将经过下采样再上采样处理的可见光图像以及高分辨率可见光图像,输入到纹理特征编码模块,从中提取键特征和值特征;根据查询特征与键特征生成相关性引导图和对应特征加权图;根据对应特征加权图与值特征得到迁移特征图;将浅层特征、相关性引导图和迁移特征图输入到跨模态特征融合模块,得到融合特征并输入到Transformer图像重建模块,生成超分辨率红外图像。本发明显著提升了可见光对红外细节重建的引导效果,使得重建图像在纹理细节上更加清晰锐利。
本发明授权基于可见光相关性特征融合的红外图像超分辨率重建方法在权利要求书中公布了:1.一种基于可见光相关性特征融合的红外图像超分辨率重建方法,其特征是,步骤如下: S1:将低分辨率红外图像输入到浅层特征提取模块,提取其浅层特征F;将上采样低分辨率红外图像输入到可学习纹理提取模块,从中提取查询特征Q;将经过下采样再上采样处理的可见光图像以及高分辨率可见光图像,输入到纹理特征编码模块,从中提取键特征K和值特征V;将查询特征Q与键特征K输入至相关性计算模块,相关性计算模块计算两者之间的相似度,并生成相关性引导图S以及用于加权的对应特征加权图C: ; 其中,表示计算得到的权重,也是对应特征加权图C中的一个元素,k为高分辨率可见光图像中的空间位置索引,为低分辨率红外图像中第i个位置与高分辨率可见光图像中第j个位置之间的相似度,为低分辨率红外图像中第i个位置的特征与高分辨率可见光图像中第k个位置之间的相似度; 将对应特征加权图C与值特征V输入至对应特征加权模块,利用对应特征加权图C与值特征V进行加权: ; 其中,表示最终迁移到低分辨率红外图像中第i个位置的纹理特征,也就是迁移特征图M中第i个位置的值,为值特征V中对应高分辨率可见光图像第j个位置的特征向量;得到迁移特征图M; 相关性引导图S按下式计算: ; 其中,表示相关性引导图S中的第i个位置的值; S2:将浅层特征F、相关性引导图S和迁移特征图M输入到跨模态特征融合模块CFFM,跨模态特征融合模块首先将浅层特征F和迁移特征图M进行通道拼接;接着,利用相关性引导图S对拼接后的特征执行逐元素相乘操作,以实现对融合过程的智能调制和引导,调制后的特征随后通过一个层归一化块;层归一化后的特征被送入两个并行分支:一个分支包含一个3×3卷积和ReLU激活函数,用于捕获局部空间特征;另一个分支包含一个1×1卷积和ReLU激活函数,用于进行通道维度的交互和特征投影;两个分支的输出随后再次进行通道拼接,并通过一个1×1卷积进行最终的特征整合;最后,将整合后的特征与原始输入的浅层特征F进行逐元素相加,形成一个局部残差连接,得到最终的融合特征; S3:将融合特征输入到Transformer图像重建模块,利用Transformer图像重建模块对融合特征进行进一步处理、上采样和细节恢复,最终生成超分辨率红外图像;所述Transformer图像重建模块由n个级联的残差多尺度注意力组、3个3×3卷积、一个亚像素卷积层以及一个全局残差连接而成;残差多尺度注意力组依次由m个级联的残差多尺度注意力块、一个重叠交叉融合注意块、一个3×3卷积和一个局部残差构成;每个残差多尺度注意力块是一个功能单元,残差多尺度注意力块首先对原始输入特征进行第一次层归一化,然后将第一次归一化后的特征并行送入多尺度通道注意力块和移位窗口多头自注意力块;将多尺度通道注意力块和移位窗口多头自注意力块的输出求和后,与原始输入特征进行第一次残差连接,得到中间特征;接着,中间特征依次经过第二次层归一化和多层感知器;最后将多层感知器的输出与中间特征进行第二次残差连接,得到残差多尺度注意力块的输出特征; 所述多尺度通道注意力块的处理流程为:输入特征首先经过一个3×3卷积进行特征提取,然后送入多尺度大核注意力模块进行处理;多尺度大核注意力模块的输出分两路,第一路经过GELU激活函数和多层感知器处理,第二路经过GELU激活函数和最大池化操作,两路结果进行逐元素相加,接着通过Sigmoid激活函数,再将Sigmoid激活函数的输出与多尺度大核注意力模块的输出特征进行逐元素相乘,相乘结果随后经过一个3×3卷积,接着送入通道注意力块进行处理。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人江西师范大学,其通讯地址为:330000 江西省南昌市高新技术开发区紫阳大道99号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。