龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：北京中科睿鉴科技有限公司
摘要：本发明涉及一种数字人分身制作方法。适用于计算机视觉技术领域、图像处理领域。本发明可以生成人脸处于任何姿态下的参考人脸，且参考人脸都是中性表情、闭嘴状态，从而解决任何姿态下人脸生成效果不好的问题；本发明通过人脸关键点位置，确定掩码区的下边缘位于唇部关键点和下巴轮廓关键点之间，并将掩码区红绿蓝三个通道颜色像素值置分别为0,0,0，得到掩码人脸，在唇语驱动算法模型中需要生成的区域就仅包含像素值为0的区域；本发明将唇驱人脸和对齐人脸输入人脸自修复编码器，人脸自修复解码器输出包含对齐人脸光照条件的唇驱人脸，所以通过人脸自修复技术就解决了唇语驱动算法模型生成的人脸部分光线与视频帧中光照条件不一致的问题。
主权项：1.一种数字人分身制作方法，其特征在于，包括：获取包含人脸的视频和包含语音的音频；比较视频的视频帧数和音频的音频帧数，并通过对视频进行扩展或截取，使视频的视频帧数等于音频的音频帧数，视频帧与音频帧一一对应；从视频的视频帧提取人脸，得到视频人脸，将视频人脸进行人脸关键点检测，并与预制人脸模板的人脸关键点进行仿射变换，得到对齐人脸，并保留仿射变换矩阵；基于对齐人脸生成掩码人脸和特定状态、表情的参考人脸，其中掩码人脸具有完全覆盖唇部的掩码区；将音频帧和相应的参考人脸、掩码人脸输入唇语驱动算法模型，在掩码人脸上生成掩码区对应的人脸部分，得到唇驱人脸；将对齐人脸和唇驱人脸输入人脸自修复编码器，得到包含对齐人脸光照条件的唇驱人脸；将包含对齐人脸光照条件的唇驱人脸根据仿射变换矩阵进行仿射矩阵逆变换，得到逆变换人脸；将逆变换人脸贴回相应视频帧中人脸位置，将具有逆变换人脸的视频帧按时间顺序进行视频转换，结合音频得到音唇同步的视频。
全文数据：
权利要求：
百度查询： 北京中科睿鉴科技有限公司 数字人分身制作方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号