龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：中国科学院信息工程研究所
摘要：本发明公开了一种基于人脸属性解耦的语音驱动人脸口型替换方法，属于计算机视觉和深度学习技术领域。本发明通过身份编码器、语音编码器和纹理编码器提取源人脸、源语音和参考图像的特征，并利用U‑Net和StyleGAN2生成高质量的口型同步人脸图像。本方法通过选择与源语音差异最大的参考图像，避免了唇形信息泄露，确保生成的唇形同步性和时间一致性。解决了传统方法中唇形不一致和图像质量不高的问题，生成的说话人脸视频更加真实连贯。
主权项：1.一种基于人脸属性解耦的语音驱动人脸口型替换方法，其特征在于，包括以下步骤：定位视频中的面部区域并裁剪视频；从视频中随机抽取一帧作为源人脸图像并遮罩嘴部区域，得到含遮罩的源人脸图像；从视频中提取与源人脸图像对应的源语音；从视频中随机抽取若干帧人脸图像作为候选图像；使用预训练的音视频同步判别器选择与源语音同步性最低的图像作为参考图像；对含遮罩的源人脸图像进行编码，生成身份特征；对源语音进行编码，生成语音特征；对参考图像进行编码，生成纹理特征；将语音特征、身份特征和纹理特征输入到解码器处理，生成口型同步图像；将时序的口型同步图像输入到U-Net网络进行下采样，提取时序特征；将时序特征通过多层感知器融合不同时间帧的特征，并输入StyleGAN2模型的解码器，并将时序特征的上采样特征通过跳跃连接注入到StyleGAN2模型，生成高质量的说话人脸图像。
全文数据：
权利要求：
百度查询： 中国科学院信息工程研究所 一种基于人脸属性解耦的语音驱动人脸口型替换方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号