腾讯科技(深圳)有限公司张文杰获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉腾讯科技(深圳)有限公司申请的专利目标对象的动作驱动方法、装置、设备及存储介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN113554737B 。
龙图腾网通过国家知识产权局官网在2026-03-06发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202011413461.3,技术领域涉及:G06T15/00;该发明授权目标对象的动作驱动方法、装置、设备及存储介质是由张文杰设计研发完成,并于2020-12-04向国家知识产权局提交的专利申请。
本目标对象的动作驱动方法、装置、设备及存储介质在说明书摘要公布了:本申请实施例提供一种目标对象的动作驱动方法、装置、设备及存储介质,涉及人工智能技术领域。方法包括:获取源语音和目标视频,所述目标视频中包括目标对象,对源语音在每一时刻的语音参数进行人脸参数转换处理,得到所述源语音在对应时刻的源参数;对目标视频进行参数提取,得到目标参数;根据对所述源参数和所述目标参数进行结合所得到的结合参数,对所述目标视频中的目标对象进行图像重构,得到重构图像;通过所述重构图像生成合成视频,其中,所述合成视频中具有所述目标对象,且所述目标对象的动作与所述源语音对应。通过本申请,能够使得最终得到的语音驱动目标对象动作的合成视频更加平滑和真实,提高了视频合成的视觉效果。
本发明授权目标对象的动作驱动方法、装置、设备及存储介质在权利要求书中公布了:1.一种目标对象的动作驱动方法,其特征在于,所述方法包括: 获取源语音和目标视频,所述目标视频中包括目标对象; 对所述源语音在每一时刻的语音参数进行人脸参数转换处理,得到所述源语音在对应时刻的源参数;所述源参数包括:表情参数和嘴部关键点参数; 对所述目标视频进行参数提取,得到目标参数;所述目标参数包括目标嘴部关键点参数和目标人脸参数;所述目标人脸参数至少包括:目标姿态参数、目标形状参数和目标表情参数; 采用所述表情参数替换所述目标人脸参数中的所述目标表情参数,得到替换后的人脸参数;采用所述嘴部关键点参数替换所述目标嘴部关键点参数,得到替换后的嘴部关键点参数; 将每一时刻的所述替换后的人脸参数、所述替换后的嘴部关键点参数和与所述目标视频对应的背景图像,输入至图像渲染模型中;其中,所述图像渲染模型通过以下步骤进行训练:将样本重构图像和样本目标图像输入至所述图像渲染模型中;通过所述图像渲染模型的第一渲染网络,对所述样本重构图像和所述样本目标图像分别进行特征提取和嘴型区域渲染,得到样本嘴型纹理图像;通过所述图像渲染模型中的第二渲染网络,对所述样本嘴型纹理图像和所述样本目标图像进行拼接处理,得到样本合成图像;获取对应于所述样本重构图像和所述样本目标图像的真实合成图像;将所述样本合成图像和真实合成图像拼接后输入至预设损失模型中,确定所述真实合成图像和所述样本合成图像的两个损失之间的损失;确定所述图像渲染模型的生成对抗损失的损失值、L1损失的损失值以及前后帧相似性损失的损失值;确定利用所述L1损失所计算的所述真实合成图像和所述样本合成图像在N个激活层所输出的特征图的差异;对所述差异进行线性加权,得到最终的损失的损失值;对所述两个损失之间的损失的损失值、所述生成对抗损失的损失值、L1损失的损失值、最终的损失的损失值以及所述前后帧相似性损失的损失值进行加权求和,得到损失结果;根据所述损失结果对所述第一渲染网络和所述第二渲染网络中的参数进行修正,得到训练后的图像渲染模型; 通过所述图像渲染模型中的第一渲染网络,对所述替换后的人脸参数和所述替换后的嘴部关键点参数进行嘴型区域渲染,得到嘴型区域纹理图像; 通过所述图像渲染模型中的第二渲染网络,对所述嘴型区域纹理图像和所述背景图像进行拼接处理,得到当前时刻的合成图像; 根据每一时刻的所述合成图像,确定出同时具有所述目标对象和所述源语音的合成视频,其中,所述合成视频中具有所述目标对象,且所述目标对象的动作与所述源语音对应。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人腾讯科技(深圳)有限公司,其通讯地址为:518000 广东省深圳市南山区高新区科技中一路腾讯大厦35层;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励