买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：四川萃雅教育科技有限公司

摘要：本发明提供一种虚拟数字人形原图像集人脸动画模型生成方法，涉及数字课程和融合出版领域。该虚拟数字人形原图像集人脸动画模型生成方法，具体包括以下步骤，S1.原始数据获取，S2.模型训练，S3.特征信息提取，S4.特征信息判断，S5.密集运动场生成，S6.图像补全。通过随驱动视频中人物位姿的改变逐步注入源图像集中最近临的源图像的身份特征的方式为人脸驱动模型提供更丰富的源人物身份信息，将基于单张源图像的二维人脸动画模型的可接受身份失真的偏转角度范围从±30度提升至±75度，避免进行人脸动画模型生成时因人物头部转动较大引发视频失真，提升该方法整体进行人脸动画模型生成的使用效果。

主权项：1.一种虚拟数字人形原图像集人脸动画模型生成方法，其特征在于，具体包括以下步骤：S1.原始数据获取通过图像采集装置获取多组原始图像及视频数据，通过图像处理软件，将采集的原始数据划分为多个原图像集和驱动视频组；S2.模型训练将采集的多个原图像集和驱动视频组按等比例划分为两组，一组作为训练组，另一组作为对比组，将两组数据输入到ResNet18网络和ResNet50网络中，对ResNet18网络进行关键点提取训练，对ResNet50网络进行特征信息提取训练；S3.特征信息提取将需要进行模型生成的原图像集作为目标原图像集进行提取，将提取的原图像集导入到训练后的ResNet50网络中，通过ResNet50网络对原图像集中人脸图像的欧拉角进行提取，并通过全连接网络对提取的数据进行回归拟合，得到具体的角度值；S4.特征信息判断将回归拟合得到的具体的角度值输入到头部姿态估计网络中，通过头部姿态估计网络判断原图像中人脸姿态的偏移情况，计算原图像身份信息失真值，判断是否需要注入人物身份特征，如果达到身份信息失真阈值，从原图像集中选取与当前人脸姿态最接近的原图像，将身份信息补充到输出的图像中，如果没有达到身份信息失真阈值，直接将采集的图像进行输出；S5.密集运动场生成通过关键点检测器检测驱动视频中运动最剧烈的像素点作为表征驱动视频运动信息的关键点，通过驱动视频当前帧与驱动视频第一帧中对应关键点之间的位移信息得到稀疏运动场，并同时提取原图像的对应关键点，再利用薄板样条插值根据稀疏运动场估计得到密集运动场，同时估计得到缺失人脸区域，生成掩膜；S6.图像补全根据密集运动场和掩膜对源图像进行像素级的扭曲，得到粗合成帧，通过对掩膜标定的缺失区域利用生成对抗网络进行补全得到最终的合成帧。

全文数据：

权利要求：

百度查询： 四川萃雅教育科技有限公司 一种虚拟数字人形原图像集人脸动画模型生成方法