买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：唯物(杭州)科技有限公司

摘要：本发明公开了一种3D角色实时面部驱动方法、装置、电子设备及存储介质，包括获取角色面部动画文件及对应演员的面部表情视频文件；基于角色面部动画文件，获取每一帧动画对应的控制器值；将角色面部动画文件渲染角色视频文件，从角色视频文件和演员的面部表情视频文件提取出对应角色图片集和演员面部图片集；构建VAE模型；基于角色图片集、演员面部图片集及角色图片集对应的控制器值，对VAE模型进行训练；训练完成后，将演员面部图片输入至训练完成的VAE模型中，获取控制器的系数；将控制器的系数传输给渲染软件，渲染软件实时驱动3D虚拟形象，获得高质量的面部动画。本发明通过VAE模型能获得高精度的面部动画。

主权项：1.一种3D角色实时面部驱动方法，其特征在于，包括：获取3D角色面部动画文件以及对应演员的面部表情视频文件；基于所述3D角色面部动画文件，获取每一帧动画对应的控制器值；将所述3D角色面部动画文件渲染成3D角色视频文件，并从所述3D角色视频文件和所述演员的面部表情视频文件提取出对应3D角色图片集和演员面部图片集；构建VAE模型；基于所述3D角色图片集、所述演员面部图片集以及所述3D角色图片集对应的控制器值，对所述VAE模型进行训练；训练完成后，将3D角色图片和演员面部图片输入至训练完成的所述VAE模型中，获取所述控制器的系数；将所述控制器的系数传输给渲染软件，所述渲染软件实时驱动3D虚拟形象，获得高质量的面部动画；其中，所述VAE模型包括一编码器以及两个解码器；所述编码器将输入的所述3D角色图片集和所述演员面部图片集中的图片编码；一所述解码器对编码后的所述3D角色图片集和所述演员面部图片集中的图片进行解码优化训练，获得所述编码器和所述解码器的最优权重值；另一所述解码器对编码后的所述3D角色图片集以及所述3D角色图片集对应的控制器值进行解码训练，获得所述控制器系数；所述编码器编码函数为：Encx＝fzx,fidx；式中：x为输入的图片；fzx为VAE的编码；z为表情信息在隐空间的编码；fidx为VAE的编码；id为身份信息在隐空间的编码；所述解码优化训练的损失函数为：L＝Lvae+Lrec+Lcycle； Lcycle＝||fzx1-fzDecfzx1,fidx2||2+||fzx2-fzDecfzx2,fidx1||2；式中：x1为3D角色图片；x2为演员面部图片；为解码器的输出；为fzx；pθx|z为通过z重建照片；pz为z的先验分布；Ldssim为x和的结构相似性误差；另所述解码训练的误差函数为： 式中：y为某一帧动画对应的控制器值向量，为预测的控制器值向量。

全文数据：

权利要求：

百度查询： 唯物(杭州)科技有限公司 一种3D角色实时面部驱动方法、装置、电子设备及存储介质