龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：成都潜在人工智能科技有限公司
摘要：本发明属于音视频同步技术领域，具体公开了歌唱嘴型与面部动画生成方法、装置及电子设备，其中方法包括步骤：将歌词与音符序列输入乐谱编码器得到第一歌唱声音参数特征向量序列；输入音长预测器得到每个音素的预测时长；将第一歌唱声音参数特征向量序列和每个音素的预测时长输入长度调节器得到第二歌唱声音参数特征向量序列；输入解码器得到音素信息序列；将音素信息序列输入嘴型信息预测模型得到嘴型信息序列；生成包含嘴型信息对应的嘴型的人脸图像；将人脸图像作为关键帧生成面部动画。本发明将歌曲的歌词和音符序列作为歌唱嘴型与面部动画生成所需的输入信息，结合歌唱时能量大小对嘴型动画的影响，保证嘴型更改与音素变化的时间序列对应。
主权项：1.歌唱嘴型与面部动画生成方法，其特征在于，包括步骤：将歌词与音符序列输入乐谱编码器，得到第一歌唱声音参数特征向量序列；将所述第一歌唱声音参数特征向量序列输入音长预测器，得到每个音素的预测时长；将所述第一歌唱声音参数特征向量序列和每个音素的所述预测时长输入长度调节器，得到时长扩充后的第二歌唱声音参数特征向量序列；将所述第二歌唱声音参数特征向量序列输入解码器，得到音素信息序列；将所述音素信息序列输入预先训练的嘴型信息预测模型，得到嘴型信息序列；根据所述嘴型信息序列中的嘴型信息，生成包含所述嘴型信息对应的嘴型的人脸图像，包括：建立特征数据库，预设所述第一歌唱声音参数对应的歌唱技巧类型，以及所述歌唱技巧类型对应的嘴型特征参数；根据所述第一歌唱声音参数，识别所述歌唱技巧类型；根据所述歌唱技巧类型，确定所述嘴型特征参数；根据所述嘴型特征参数，生成嘴型特征图像即得到包含所述嘴型信息对应的嘴型的人脸图像；将所述人脸图像作为面部动画的关键帧，利用所述关键帧生成面部动画。
全文数据：
权利要求：
百度查询： 成都潜在人工智能科技有限公司 歌唱嘴型与面部动画生成方法、装置及电子设备
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号