恭喜北京大学黄舟获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜北京大学申请的专利基于扩散模型和多模态大语言模型的遥感影像超分辨率方法及产品获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119722462B 。
龙图腾网通过国家知识产权局官网在2025-05-27发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510221647.5,技术领域涉及:G06T3/4053;该发明授权基于扩散模型和多模态大语言模型的遥感影像超分辨率方法及产品是由黄舟;卢立静;鲍毅;齐厚基设计研发完成,并于2025-02-27向国家知识产权局提交的专利申请。
本基于扩散模型和多模态大语言模型的遥感影像超分辨率方法及产品在说明书摘要公布了:本申请提供了一种基于扩散模型和多模态大语言模型的遥感影像超分辨率方法,涉及图像处理技术领域。该方法采用了预训练的稳定扩散模型,该模型是在大规模数据集上训练的,能够实现稳定和详细的超分辨率效果,并具有更快的收敛速度。本申请还使用多模态大语言模型来增强模型的语义理解能力,提供详细的内容描述和纹理描述。本申请还引入了一个额外的分类器,它提供了关于LR的全局信息和简洁信号。这些先验信息通过交叉注意力模块自适应地集成到扩散模型中。最后,通过将稳定扩散模型强大的生成能力与MLLM的语义理解能力相结合,本申请提出的方法在重建遥感图像方面表现出色,在不同数据集上的多个图像质量方面实现了优异的性能。
本发明授权基于扩散模型和多模态大语言模型的遥感影像超分辨率方法及产品在权利要求书中公布了:1.基于扩散模型和多模态大语言模型的遥感影像超分辨率方法,其特征在于,所述方法包括:基于多模态大语言模型获取低分辨率遥感影像的内容描述信息和纹理描述信息;基于分类器获取所述低分辨率遥感影像的全局类别;基于稳定扩散模型对所述低分辨率遥感影像、低分辨率遥感影像的内容描述信息和纹理描述信息以及所述低分辨率遥感影像的全局类别进行处理,得到超分辨率遥感影像;通过稳定扩散模型对所述低分辨率遥感影像、低分辨率遥感影像的内容描述信息和纹理描述信息以及所述低分辨率遥感影像的全局类别进行处理,得到超分辨率遥感影像,包括:基于变分自编码器对所述低分辨率遥感影像进行处理,得到潜在表示;基于文本编码器对所述低分辨率遥感影像的内容描述信息和纹理描述信息进行编码,得到描述编码信息,所述描述编码信息通过交叉注意力模块与所述潜在表示进行交互;基于类别感知编码器对所述低分辨率遥感影像的全局类别进行编码,得到类别编码信息,所述类别编码信息通过空间特征变换调制稳定扩散模型的U-Net架构残差块中的中间特征图;基于所述U-Net架构得到无噪声的潜在表示,基于变分自解码器得到超分辨率遥感影像;所述分类器和所述稳定扩散模型是基于训练样本联合训练得到的,在联合训练过程中对分类器的参数进行更新,对待训练的类别感知编码器的参数进行更新,冻结预训练的稳定扩散模型的其他参数,所述训练样本为携带全局类别标签的样本低分辨率遥感影像图像;所述联合训练过程包括以下步骤:通过变分自编码器将样本低分辨率遥感影像图像编码为样本潜在向量,在t步之内,通过稳定扩散模型的扩散过程将噪声逐步引入样本潜在向量,以生成样本噪声潜在向量,稳定扩散模型整合以下参数预测添加的噪声:样本低分辨率遥感图像、样本噪声潜在向量、样本内容描述信息和样本纹理描述信息,基于稳定扩散模型得到的预测噪声与扩散过程中引入的实际噪声之间的差异最小化对所述类别感知编码器的参数进行更新,损失函数表示如下: ;其中,,表示稳定扩散模型的预测噪声,表示待训练的类别感知编码器,表示参数冻结的预训练的文本编码器,cls表示样本内容描述信息和样本纹理描述信息;c表示描述编码信息,由所述低分辨率遥感影像的内容描述信息和纹理描述信息的文本特征拼接得到;基于带全局类别标签的样本低分辨率遥感影像图像对待训练的分类器进行训练,损失函数表示如下: ;其中,其中N为样本低分辨率遥感影像图像的数量,M为全局类别数量,yic表示第i个样本低分辨率遥感影像图像的真实标签,pic表示待训练的分类器第i个样本属于第c个类别的预测概率;所述分类器和所述稳定扩散模型联合训练的损失函数表示如下: ;其中,L表示总损失,LD表示扩散损失,LC表示分类损失,λ表示平衡系数。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人北京大学,其通讯地址为:100871 北京市海淀区颐和园路5号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。