龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：华南理工大学
摘要：本发明公开了一种数字人口型的自动对齐方法，包括以下步骤：获取人物说话视频和驱动音频，分别对人物说话视频和驱动音频进行预处理，得到人物人脸图像序列和语音音频序列；根据人脸图像序列初始化参考帧，获得参考人脸序列，掩膜人物半脸，掩膜后人脸与参考人脸拼接得到拼接图像序列；将拼接图像序列输入图像编码器，得到人脸图像特征向量，将语音音频序列输入音频编码器，得到音频语义特征向量；对人物的人脸图像特征向量和音频语义特征向量进行拼接融合，将拼接融合特征输入生成器，生成人物口型同步视频；根据评估指标和约束条件，评估口型同步视频质量，使用约束优化算法对参考人脸序列进行迭代优化，直至生成最佳口型同步视频。
主权项：1.一种数字人口型的自动对齐方法，其特征在于，包括以下步骤：S1.获取人物说话视频和驱动音频，分别对人物说话视频和驱动音频进行预处理，得到人物人脸图像序列和语音音频序列；S2.根据人脸图像序列初始化参考帧，获得参考人脸序列，掩膜人物半脸，掩膜后人脸与参考人脸拼接得到拼接图像序列；S3.将拼接图像序列输入图像编码器，得到人脸图像特征向量，将语音音频序列输入音频编码器，得到音频语义特征向量；S4.对人物的人脸图像特征向量和音频语义特征向量进行拼接融合，将拼接融合特征输入生成器，生成人物口型同步视频；S5.根据评估指标和约束条件，评估口型同步视频质量，使用约束优化算法对参考人脸序列进行迭代优化，直至生成最佳口型同步视频。
全文数据：
权利要求：
百度查询： 华南理工大学 数字人口型的自动对齐方法及系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号