买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉浙江大学申请的专利基于时序位置编码的多模态特征融合数字人视频生成方法和装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119484953B 。

龙图腾网通过国家知识产权局官网在2025-10-14发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411560132.X，技术领域涉及：H04N21/854；该发明授权基于时序位置编码的多模态特征融合数字人视频生成方法和装置是由耿卫东;林祥鹏;章腾;厉向东;梁秀波设计研发完成，并于2024-11-04向国家知识产权局提交的专利申请。

本基于时序位置编码的多模态特征融合数字人视频生成方法和装置在说明书摘要公布了：本发明公开了一种基于时序位置编码的多模态特征融合数字人视频生成方法和装置，包括：基于单目视频构建关键点；使用Faceverse模型检测的面部Faceverse系数，拟合并替换SMPLX模型的面部Flame系数，使用Hamer模型检测的Mano手型，拟合并替换SMPLX模型的手部表示，得到优化后的SMPLX模型；基于关键点绘制得到颜色编码表征图像和眼睛注视图像，同时基于优化后的SMPLX模型绘制得到深度图像、语义图像、以及法向图像；在图像生成模型中引入用于增强时序一致性的时序位置编码，同时基于所有图像形成的多模态特征连续生成多帧数字人图像，并添加音频得到数字人视频，在多个领域都有广泛应用前景。

本发明授权基于时序位置编码的多模态特征融合数字人视频生成方法和装置在权利要求书中公布了：1.一种基于时序位置编码的多模态特征融合数字人视频生成方法，其特征在于，包括以下步骤： 基于单目视频生成关键点序列并进行预处理后划分成不同动作片段，基于SMPLX的系数迁移对动作片段进行对齐，得到重定向后的关键点序列； 使用Faceverse模型检测的面部Faceverse系数来拟合新系数，并利用新系数替换SMPLX模型的面部Flame系数，使用Hamer模型检测的Mano手型拟合新手部表示，并利用新手部表示替换SMPLX模型的手部表示，得到优化后的SMPLX模型； 基于重定向后的关键点序列绘制得到颜色编码表征图像序列和眼睛注视图像序列、同时基于优化后的SMPLX模型绘制得到深度图像序列、语义图像序列、以及法向图像序列； 在图像生成模型中引入用于增强时序一致性的时序位置编码，该时序位置编码包括当前视频的索引信息和视频帧在当前视频中的索引信息，同时基于所有图像序列形成的多模态特征连续生成多帧数字人图像，并为连续的数字人图像添加音频得到数字人视频； 时序位置编码通过以下方式获得： NOISEVI,FI＝PEVIVN+PEFIFN PEp＝sinp*20,cosp*20,sinp*21,cosp*21,...,sinp*2k,cosp*2k 其中，VI表示当前视频的索引信息，FI表示视频帧在当前视频中的索引信息，VN为视频总数，FN为视频帧所在当前视频的总帧数，NOISEVI,FI表示时序位置编码，PEp表示对变量p编码，在PEVIVN中变量p＝VIVN，在PEFIFN中变量p＝FIFN； 其中，图像生成模型基于StyleUNet网络构建，具体构建过程为； StyleUNet网络包括图像生成器和判别器，图像生成器用于根据输入的图像序列以及通过时序位置编码控制的噪声序列生成视频帧序列，其中输入的图像序列由颜色编码表征图像序列、眼睛注视图像序列、深度图像序列、语义图像序列和法向图像序列拼接而成；判别器D用于判别输入视频帧的真伪，其中输入视频帧包括真实视频帧Vt与颜色编码表征图像序列、眼睛注视图像序列、深度图像序列、语义图像序列和法向图像序列的组合，和生成视频帧与颜色编码表征图像序列、眼睛注视图像序列、深度图像序列、语义图像序列和法向图像序列的组合； 构建StyleUNet网络的对抗学习损失函数，包括生成损失和判别损失，其中生成损失包括基于生成数字人图像和真实视频帧之差的重建损失Lrec、基于生成数字人图像的图像特征和真实视频帧的图像特征之间的图像感知损失Lsen、以及基于判别器的对抗损失Ladv；判别损失包括基于判别器的判别损失LD； 利用损失函数对StyleUNet网络进行对抗学习以优化网络参数，并以参数优化后的图像生成器作为图像生成模型。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浙江大学，其通讯地址为：310058 浙江省杭州市西湖区余杭塘路866号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。