买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:浙江大学;浙江同花顺智能科技有限公司
摘要:本申请提供一种语音驱动人脸视频生成方法,包括:获取语音数据,提取语音数据的音频特征;将音频特征、背景图像和采样点输入至人脸生成模型,利用人脸生成模型生成每帧语音对应的人脸说话图像;将人脸说话图像拼接成视频,并叠加语音数据,得到语音驱动人脸视频生成视频。本申请无需对背景图像独立进行三维建模,同时可大大减少计算量,降低渲染的硬件成本,从而满足应用场景下对实时性、低成本的需求。本申请还提供一种语音驱动人脸视频生成系统、存储介质和电子设备,具有上述有益效果。
主权项:1.一种语音驱动人脸视频生成方法,其特征在于,包括:获取语音数据,提取所述语音数据的音频特征;将所述音频特征、背景图像和采样点输入至人脸生成模型,利用所述人脸生成模型生成每帧语音对应的人脸说话图像;所述人脸生成模型为基于渲染模型和生成对抗模型组成,用于对所述背景图像进行下采样编码,并与所述渲染模型提取得到的人脸三维特征相结合,得到风格变量;所述生成对抗模型用于根据所述风格变量生成所述人脸说话图像;将所述人脸说话图像拼接成视频,并叠加所述语音数据,得到语音驱动人脸视频生成视频。
全文数据:
权利要求:
百度查询: 浙江大学 浙江同花顺智能科技有限公司 语音驱动人脸视频生成方法、系统、存储介质和电子设备
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。