买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:深圳追一科技有限公司
摘要:本申请公开了一种基于ASR声学模型的嘴部动作驱动模型训练方法及组件,本申请使用ASR声学模型将各种繁杂的音频数据转换为能够屏蔽音色差异和噪声差异的音素特征,之后将该音素特征作为模型训练数据,从而训练得到嘴部动作驱动模型,提高了训练数据的质量,降低了训练数据的复杂性和训练成本,同时还不会影响嘴部动作驱动模型的通用性。相应地,本申请提供的一种基于ASR声学模型的嘴部动作驱动模型训练组件,也同样具有上述技术效果。
主权项:1.一种基于ASR声学模型的嘴部动作驱动模型训练方法,其特征在于,包括:从视频中提取图像数据以及相应的音频数据;获取所述图像数据中的嘴部动作特征;利用ASR声学模型将所述音频数据转换为音素特征;利用所述音素特征和所述嘴部动作特征训练深度学习模型,以得到嘴部动作驱动模型;其中,所述ASR声学模型的训练过程包括:获取训练音频,以及所述训练音频对应的目标文本;将所述训练音频输入初始ASR声学模型,以使所述初始ASR声学模型将所述训练音频映射为音素序列;确定所述音素序列对应的训练文本,并计算所述训练文本与所述目标文本的损失值;若所述损失值达到模型收敛要求,则将所述初始ASR声学模型确定为所述ASR声学模型;否则,更新所述初始ASR声学模型的模型参数后,对更新后的初始ASR声学模型进行迭代训练,直至所述损失值符合模型收敛要求。
全文数据:
权利要求:
百度查询: 深圳追一科技有限公司 基于ASR声学模型的嘴部动作驱动模型训练方法及组件
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。