福建帝视科技集团有限公司陈彬获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉福建帝视科技集团有限公司申请的专利一种基于扩散模型的文本条件引导的图像外扩方法与终端获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120259113B 。
龙图腾网通过国家知识产权局官网在2025-08-22发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510741426.0,技术领域涉及:G06T5/60;该发明授权一种基于扩散模型的文本条件引导的图像外扩方法与终端是由陈彬;周远波;邓炜;高钦泉;童同设计研发完成,并于2025-06-05向国家知识产权局提交的专利申请。
本一种基于扩散模型的文本条件引导的图像外扩方法与终端在说明书摘要公布了:本发明的一种基于扩散模型的文本条件引导的图像外扩方法与终端,接收用户传入的原始图像,针对原始图像,利用预训练的多模态大语言模型生成外扩文本条件;对原始图像进行特征编码,生成图像特征,对外扩文本条件进行特征编码,生成文本特征;将图像特征以及文本特征输入预训练的基于双UNet网络的潜在扩散模型,基于潜在扩散模型生成外扩图像;本发明引入多模态大语言模型生成文本条件,使外扩内容符合语义逻辑,提升合理性与美观度;双UNet结构将文本语义与原始图像特征分模块处理,避免单UNet交叉注意力负担过重,增强外扩内容与原图的语义连贯性;通过数据增强与双UNet架构,支持图像任意像素外扩,突破生成对抗网络的外扩范围限制。
本发明授权一种基于扩散模型的文本条件引导的图像外扩方法与终端在权利要求书中公布了:1.一种基于扩散模型的文本条件引导的图像外扩方法,其特征在于,包括步骤: S1、接收用户传入的原始图像,针对所述原始图像,利用预训练的多模态大语言模型生成外扩文本条件; S2、对所述原始图像进行特征编码,生成图像特征,对所述外扩文本条件进行特征编码,生成文本特征; S3、将所述图像特征以及所述文本特征输入预训练的基于双UNet网络的潜在扩散模型,基于所述潜在扩散模型生成外扩图像; 所述潜在扩散模型采用双UNet网络,包括冻结原始参数的冻结UNet网络以及经过预训练的可训练UNet网络; 步骤S3包括步骤: 将所述文本特征注入所述冻结UNet网络的交叉注意力模块,将图像特征输入所述可训练UNet网络的交叉注意力模块,并通过零卷积层组合两层UNet的特征,逐步去噪生成外扩潜变量; 通过解码器将所述外扩潜变量解码为外扩图像; 所述潜在扩散模型的构建包括: 获取开源UNet网络,并针对所述开源UNet网络生成副本,将所述开源UNet网络冻结参数,作为冻结UNet网络,所述开源UNet网络的副本用于接受训练,作为可训练UNet网络; 所述冻结UNet网络与所述可训练UNet网络之间通过零卷积进行连接,且采用不同的输入,所述冻结UNet网络输入潜噪声向量,所述可训练UNet网络输入潜噪声向量、掩码图像的潜在表示以及下采样后的二值掩码; 所述冻结UNet网络与所述可训练UNet网络之间每一层交互的计算公式为: ; ; 其中,表示所述潜在扩散模型第层的输出特征,与分别表示冻结UNet网络和可训练UNet网络的第n层输出特征,代表扩散过程加噪的步数,zt是第t步加噪得到的潜噪声向量,代表零卷积层,是调节两个网络交互强度的参数,表示变分自编码器VAE中的编码器,m表示下采样后的二值掩码,表示原始图像通过四周补零得到目标外扩图像大小的掩码图像,表示掩码图像特征,E I表示所述原始图像经过特征编码生成的图像特征,E T表示所述外扩文本条件经过特征编码生成的文本特征。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人福建帝视科技集团有限公司,其通讯地址为:350002 福建省福州市鼓楼区洪山镇洪山园路华润万象城三期TB#写字楼16层01单元;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。