买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：长沙千博信息技术有限公司

摘要：本发明公开了一种文本同步驱动三维人脸表情与口型实现方法及系统，包括以下步骤：预处理阶段：S1，制作Blendshape变化曲线：在Maya中，制作曲线；曲线包括口型和表情开始、结束变化曲线两种类型；口型变化曲线包括所有统计的相邻音素序列对的口型曲线组，而对于特定表情，包括从中立变化到特定表情即表情开始、特定表情变化到中立即表情结束两个变化曲线；S2，制作Blendshape：在Maya中，制作Blendshape；口型Blendshape，包括嘴角不动、嘴角上扬、嘴角下咧共三组口型，每组都包含Fv、Open、PBM、ShCh、W、wide共6种口型，制作表情Blendshape。本发明能通过文本同步地驱动自然逼真的口型和表情动画，同时能确保嘴角部分自然地融合，提升了虚拟人的智能交互能力。

主权项：1.一种文本同步驱动三维人脸表情与口型实现方法，其特征在于，包括以下步骤：预处理阶段：S1，制作Blendshape变化曲线：在Maya中，制作曲线，曲线包括口型和表情开始、结束变化曲线两种类型，口型变化曲线包括所有统计的相邻音素序列对的口型曲线组，而对于特定表情，包括从中立变化到特定表情即表情开始、特定表情变化到中立即表情结束两个变化曲线；S2，制作Blendshape：在Maya中，制作Blendshape，口型Blendshape，包括嘴角不动、嘴角上扬、嘴角下咧共三组口型，每组都包含Fv、Open、PBM、ShCh、W、wide共6种口型，制作表情Blendshape，包括中立、高兴、生气、伤心、害怕、厌恶、惊讶共7种表情，其中中立、惊讶表情对应嘴角不动的口型组，高兴表情对应嘴角上扬的口型组，生气、伤心、害怕、厌恶表情对应嘴角下咧口型组，表情Blendshape制作时嘴角部分的顶点保持不动；实时交互阶段：S3，NLP分词及情感计算模块，模块中包括以下步骤：步骤S31：NLP对按句输入的文本进行分词处理得到分词序列；步骤S32：对按句输入的文本进行情感计算得到句子级情感；步骤S33：为每个分词标记计算得到的情感，最终得到带情感的分词序列；S4，TTS音素序列生成模块，模块中包括以下步骤：步骤S41：解析带情感的分词序列获取分词；步骤S42：为每个分词生成音素序列及时间戳，得到按分词组织的音素序列；S5，行为驱动指令构造模块，模块中包括以下步骤：步骤S51：对按分词组织的音素序列循环遍历处理，构造xml格式的口型播放指令；步骤S52：按句首、句尾词的情感获取表情开始曲线、表情结束曲线；步骤S53：构造xml格式的表情播放指令；S6，行为驱动指令执行模块，模块中包括以下步骤：步骤S61：解析输入的口型播放指令；步骤S62：根据解析出来的音素序列对获取口型曲线组；步骤S63：按音素的时间戳来拼接口型曲线；步骤S64：解析表情播放指令；步骤S65：按时间拼接表情开始、表情结束的曲线；步骤S66：根据当前表情，选择对应的口型Blendshape组；步骤S67：按时间插值得到表情Blendshape、口型Blendshape值并保存到缓存中；S7，实时渲染模块，模块中包括以下步骤：步骤S71：开始当前渲染帧；步骤S72：渲染场景中非表情、口型Blendshape的模型；步骤S73：从缓存中获取插值后的表情、口型Blendshape值；步骤S74：依次把表情、口型Blendshape值设置到渲染对象上；步骤S75：渲染表情、口型Blendshape；步骤S76：渲染场景中剩余的非表情、口型Blendshape的模型；步骤S77：结束当前渲染帧。

全文数据：

权利要求：

百度查询： 长沙千博信息技术有限公司 一种文本同步驱动三维人脸表情与口型实现方法及系统