浙江大学;中邮消费金融有限公司耿卫东获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉浙江大学;中邮消费金融有限公司申请的专利基于单目视频重演的数字人视频生成方法与系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN118972676B 。
龙图腾网通过国家知识产权局官网在2025-10-24发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202410856057.5,技术领域涉及:H04N21/8549;该发明授权基于单目视频重演的数字人视频生成方法与系统是由耿卫东;吴高源;董爱祁;朱威;温世欢;张庆荣设计研发完成,并于2024-06-28向国家知识产权局提交的专利申请。
本基于单目视频重演的数字人视频生成方法与系统在说明书摘要公布了:本发明公开了一种基于单目视频重演的数字人视频生成方法和装置,包括:基于单目视频生成关键点序列;基于关键点序列生成表示神经渲染图像序列;基于神经渲染图像序列生成数字人视频,其包括采用基于生成对抗网络和自回归架构的光流增强方式来生成数字人视频,或采用在生成对抗网络架构中引入StyleGAN3的无混叠卷积模块和全局平移旋转变换模块的纹理黏连改进方式来生成数字人视频。这样能够提升生成视频的时序连续性、可控制性以及真实性。
本发明授权基于单目视频重演的数字人视频生成方法与系统在权利要求书中公布了:1.一种基于单目视频重演的数字人视频生成方法,其特征在于,包括以下步骤: 基于单目视频生成关键点序列; 基于关键点序列生成表示神经渲染图像序列; 基于神经渲染图像序列生成数字人视频,其包括采用基于生成对抗网络和自回归架构的光流增强方式来生成数字人视频,包括:基于生成对抗网络构建光流增强方式框架,其包括第一生成器部分和第一判别器部分,第一生成器部分包括第一生成器G1和光流模型Go,第一判别器部分包括图像质量判别器Dc、面部判别器DF、以及多尺度动态判别器DD,并在第一生成器的输出和输入之间建立自回归,将输出端的生成视频帧作为输入端的历史生成视频帧,输入的神经渲染图像序列Xt-K:t和历史生成视频帧通过第一生成器G1得到当前的生成视频帧将由神经渲染图像Xt和真实视频帧Yt组成的真实图像对Xt,Yt和生成图像对输入至图像质量判别器Dc判别视频帧的真伪,同时将面部区域对应的真实图像对和生成图像对输入至面部判别器DF判别面部区域真假,输入的真实帧序列Yt-K:t经过光流模型Go得到视频帧之间的光流变化Wt-K:t-1,将真实图像对Wt-K:t-1,Yt-K:t和生成图像对输入至多尺度动态判别器DD判别基于光流变化判断视频帧的真伪,使生成视频帧的基于光流变化体现的动态变化与真实视频帧的动态变化趋于一致;对光流增强方式框架进行训练后,提取训练后的第一生成器作为视频生成模型,用于数字人视频的生成; 或采用在生成对抗网络架构中引入StyleGAN3的无混叠卷积模块和全局平移旋转变换模块的纹理黏连改进方式来生成数字人视频,包括:基于生成对抗网络架构StyleUNet构建纹理黏连改进方式框架,其包括第二生成器部分和第二判别器部分,第二生成器部分包括映射网络Gf、图像编码器Ge、全局平移旋转变换模块Gr、以及生成网络G2,其中生成网络G2中的卷积模块替换为StyleGAN3的无混叠卷积模块,并取消生成网络G2中的噪声输入,同时在图像编码器Ge的每层输出与生成网络G2中的每层无混叠卷积模块构建跳跃连接形成残差结构,第二判别器部分包括判别器D2,随机噪声Zt经过映射网络Gf映射为潜在编码Wt,输入的神经渲染图像Xt经过图像编码器得到多级图像特征,中间层级的图像特征通过残差结构连接到生成网络G2中,最后一层级的图像特征经过傅里叶变换转换为傅里叶特征后输入至全局平移旋转变换模块,计算全局平移旋转参数并将其输入至生成网络Gf,在生成网络Gf中结合全局平移旋转参数和中间层级的图像特征计算生成视频帧将由神经渲染图像Xt和真实视频帧Yt组成的真实图像对Xt,Yt和生成图像对输入至判别器D2判别视频帧的真伪;对纹理黏连改进方式框架进行训练后,提取训练后的第二生成器部分包含的映射网络Gf、图像编码器Ge、全局平移旋转变换模块Gr、以及生成网络G2组成视频生成模型,用于数字人视频的生成。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人浙江大学;中邮消费金融有限公司,其通讯地址为:310058 浙江省杭州市西湖区余杭塘路866号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励