恭喜江西师范大学饶堃获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜江西师范大学申请的专利一种基于扩散模型的多风格绘本生成方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119228633B 。
龙图腾网通过国家知识产权局官网在2025-05-27发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411734471.5,技术领域涉及:G06T3/04;该发明授权一种基于扩散模型的多风格绘本生成方法是由饶堃;汪强;应浩;陈厚荣;江爱文设计研发完成,并于2024-11-29向国家知识产权局提交的专利申请。
本一种基于扩散模型的多风格绘本生成方法在说明书摘要公布了:本发明公开了一种基于扩散模型的多风格绘本生成方法,包括:S1:构建数据集;步骤S2:构建绘本生成模型;预处理模块对绘本图像及故事文本编码,获取文本嵌入、角色掩码和角色图像;S3:导入风格参考图像至风格一致性模块,获取风格特征嵌入;S4:导入文本嵌入、角色掩码和角色图像至角色一致性模块,获取角色嵌入和布局嵌入;S5:导入绘本图像、风格特征嵌入、角色嵌入和布局嵌入至Unet模块中进行绘本图像噪声预测,获取预测的绘本图像;S6:构建损失函数。本发明结合了深度学习中的扩散模型与图像风格迁移算法,能够根据输入的参考图像生成具有多种艺术风格的连贯绘本场景,可以广泛应用于动画制作、图像创意设计及数字内容生成等领域。
本发明授权一种基于扩散模型的多风格绘本生成方法在权利要求书中公布了:1.一种基于扩散模型的多风格绘本生成方法,其特征在于,包括以下步骤:步骤S1:构建绘本数据集,绘本数据集包括若干绘本图像及对应的故事文本;构建风格参考数据集,风格参考数据集包括若干风格参考图像;步骤S2:构建基于扩散模型的绘本生成模型,模型包括预处理模块、风格一致性模块、角色一致性模块和基于注意力机制的Unet模块;预处理模块对步骤S1中的绘本图像及对应的故事文本进行编码处理,获取文本嵌入、角色掩码和角色图像;步骤S3:导入步骤S1的风格参考图像至风格一致性模块,获取风格特征嵌入;步骤S4:导入步骤S2的文本嵌入、角色掩码和角色图像至角色一致性模块,获取角色嵌入和布局嵌入;步骤S5:导入步骤S1中的绘本图像、步骤S3中的风格特征嵌入、步骤S4中的角色嵌入和布局嵌入至基于注意力机制的Unet模块中的注意力块中进行绘本图像噪声预测,获取预测的绘本图像;步骤S6:构建损失函数,最小化损失函数以优化绘本生成模型的参数;步骤S4具体为:步骤S41:将角色图像和角色掩码输入角色一致性模块,获取对应每一个角色的重采样嵌入,随后通过MLP映射与扩散模型中间噪声进行交叉注意力计算,获取角色嵌入,表示为: ;其中,表示重采样嵌入,表示扩散模型中间噪声,表示角色嵌入,表示交叉注意力机制,表示重采样操作,表示多层感知机;步骤S42:输入文本嵌入和角色嵌入至布局控制模块中进行处理,获取布局嵌入,表示为: ;其中,表示全连接层,noise表示输入噪声。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人江西师范大学,其通讯地址为:330000 江西省南昌市高新技术开发区紫阳大道99号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。