买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华院计算技术(上海)股份有限公司

摘要：一种人脸情绪图像生成方法及装置、可读存储介质、终端，所述方法包括：对目标情绪文本以及输入音频分别进行编码，以得到情绪特征向量和语音特征向量序列；将情绪特征向量分别与每个语音特征向量进行融合，得到融合特征向量序列；将融合特征向量序列输入预训练的表情预测模型，以得到第一人脸表情向量序列；基于第一人脸表情向量序列和第二人脸表情向量序列进行渲染，以得到渲染人脸图像序列，所述第二人脸表情向量序列是根据与所述语音特征向量序列时序对齐的原始人脸图像序列确定的；将渲染人脸图像序列和所述情绪特征向量输入预训练的图像映射模型，以生成人脸情绪图像序列。上述方案有助于获得情绪状态更加自然且符合预期的人脸情绪图像。

主权项：1.一种人脸情绪图像生成方法，其特征在于，包括：对目标情绪文本以及输入音频分别进行编码，以得到情绪特征向量和语音特征向量序列；将所述情绪特征向量分别与所述语音特征向量序列中的每个语音特征向量进行融合，得到融合特征向量序列；将所述融合特征向量序列输入预训练的表情预测模型，以得到第一人脸表情向量序列；基于所述第一人脸表情向量序列和第二人脸表情向量序列进行渲染，以得到渲染人脸图像序列，其中，所述第二人脸表情向量序列是根据与所述语音特征向量序列时序对齐的原始人脸图像序列确定的；将所述渲染人脸图像序列和所述情绪特征向量输入预训练的图像映射模型，以生成人脸情绪图像序列；在将所述融合特征向量序列输入预训练的表情预测模型之前，所述方法还包括：对样本情绪文本和样本音频分别进行编码，以得到样本情绪特征向量和样本语音特征向量序列，然后将所述样本情绪特征向量分别与每个样本语音特征向量进行融合，得到融合样本特征向量序列；采用融合样本特征向量序列，以及其中的每个融合样本特征向量对应的人脸表情向量标签，构建训练数据集；采用目标损失函数，将所述训练数据集输入待优化模型进行迭代训练，以得到所述预训练的表情预测模型和所述预训练的图像映射模型，所述待优化模型包含表情预测模型和图像映射模型；其中，在每轮迭代训练中，将所述训练数据集输入所述表情预测模型，以得到当前轮第一人脸表情样本向量序列，然后基于所述第一人脸表情样本向量序列以及第二人脸表情样本向量序列进行渲染，得到渲染样本人脸图像序列，再将所述渲染样本人脸图像序列和所述样本情绪特征向量输入所述图像映射模型，以生成当前轮的样本人脸情绪图像序列；其中，所述第二人脸表情样本向量序列是根据与所述样本语音特征向量序列时序对齐的原始样本人脸图像序列确定的。

全文数据：

权利要求：

百度查询： 华院计算技术(上海)股份有限公司 人脸情绪图像生成方法及装置、可读存储介质、终端