买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京建筑大学

摘要：本公开提供了一种人脸表情动画生成方法及装置、电子设备、可读存储介质，属于人工智能领域，该方法包括：对人脸图像进行特征识别，得到人脸图像的第一全局特征和第一局部特征；对目标音频进行特征提取，得到目标音频特征，并将目标音频特征作为人脸图像的第二局部特征；基于第一全局特征、第一局部特征和第二局部特征生成人脸图像的人脸表情动画。人脸表情动画生成方法及装置、电子设备、可读存储介质，以提高人脸表情动画的质量。

主权项：1.一种人脸表情动画生成方法，其特征在于，包括：对人脸图像进行特征识别，得到所述人脸图像的第一全局特征和第一局部特征；对目标音频进行特征提取，得到目标音频特征，并将所述目标音频特征作为所述人脸图像的第二局部特征；基于所述第一全局特征、所述第一局部特征和所述第二局部特征生成所述人脸图像的人脸表情动画；对人脸图像进行特征识别，得到所述人脸图像的第一全局特征和第一局部特征，包括：对所述人脸图像进行全局特征提取，得到第一全局特征；对所述人脸图像进行局部特征提取，得到第一局部特征；其中，所述第一全局特征用于表示所述人脸图像的整体信息，所述第一局部特征用于表示所述人脸图像的面部动作属性；所述对目标音频进行特征提取，得到目标音频特征，包括：对所述人脸图像进行情绪识别，得到所述人脸图像对应的情绪风格；根据所述目标音频和所述情绪风格确定目标音频特征；和或，所述对所述人脸图像进行局部特征提取，得到第一局部特征，包括：对所述人脸图像进行面部识别，得到所述人脸图像对应的面部动作值；对所述人脸图像进行情绪识别，得到所述人脸图像对应的情绪风格；根据所述面部动作值和所述情绪风格确定第一局部特征；所述基于所述第一全局特征、所述第一局部特征和所述第二局部特征生成所述人脸图像的人脸表情动画，包括：基于所述第一局部特征、所述第二局部特征和所述第一全局特征得到第二全局特征；根据所述第一全局特征和所述第二全局特征生成所述人脸图像的人脸表情动画；所述基于所述第一局部特征、所述第二局部特征和所述第一全局特征得到第二全局特征，包括：对所述第一局部特征进行加权得到表情特征；对所述第二局部特征进行加权得到音频特征；根据所述表情特征、所述音频特征和所述第一全局特征得到第二全局特征；所述对所述人脸图像进行全局特征提取，得到第一全局特征，包括：将人脸图像以及人脸图像对应的空间点输入三平面散列编码器得到空间几何特征，第一全局特征为人脸图像对应的空间几何特征；还包括：通过情绪识别器预测人脸图像的情绪风格；将面部动作值输入情绪编码器得到表情特征，表情特征用于控制人脸上半部分面部的运动；将音频特征输入音频编码器得到音频特征，音频特征用于控制人脸下半部分面部的运动；对表情特征和音频特征进行加权，并将空间几何特征与表情特征和音频特征进行整合得到全局特征。

全文数据：

权利要求：

百度查询： 北京建筑大学 人脸表情动画生成方法及装置、电子设备、可读存储介质