龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：厦门大学
摘要：一种利用语音信息的实时视频人脸区域时空一致合成方法，涉及深度学习和三维人脸重建。利用三维人脸重建算法从视觉特征提取人脸身份信息、人脸形状信息、人脸姿态信息和人脸纹理信息，并利用深度学习技术从音频特征提取人脸表情信息，融合前者的视觉信息和后者的听觉信息，增强神经网络合成人脸表情的丰富性，快速准确地合成与当前说话内容相一致的人脸说话视频。引入参考人脸身份参数，可约束输出前后视频帧身份形象一致。引入时序上的上下文信息和平滑约束，抑制纹理抖动，使人脸生成算法能适用于视频。采用更为精简的神经网络结构，可实时生成人脸说话视频或去掉人脸遮挡物，可在安防监控、视频会议、虚拟形象、动画驱动等领域应用。
主权项：1.一种利用语音信息的实时视频人脸区域时空一致合成方法，其特征在于包括以下步骤：S1：人工选取人脸身份参考图像，提取其人脸身份参数、人脸纹理参数；S2：对于实时视频流的每一帧图像，使用人脸三维重建技术提取每帧对应的人脸姿态参数、人脸形状参数；S3：对于实时音频流提取每帧视频对应的音频特征，对第一网络输入音频特征，输出视频流每帧对应的人脸表情参数；S4：输入人脸身份参数、人脸姿态参数、人脸形状参数、人脸纹理参数、人脸表情参数，使用三维人脸模型渲染技术渲染出对应的三维人脸模型渲染图像；S5：对第二网络输入视频流原图帧、三维人脸渲染图像、人脸身份参考图像以及第二网络上一帧合成图像，输出人脸区域合成后的图像；其中，第二网络的优化约束包括时序一致性约束、判别器约束、人脸身份一致性约束；所述人脸身份一致性约束的实施过程如下：1人脸身份编码提取模块三维人脸重建技术提取目标说话人的人脸身份编码，所述身份编码提取模块采用人脸3D形变统计模型；2对人脸身份编码投影模块输入步骤1得到的人脸身份编码，输出投影后的人脸身份特征；3使用自适应实例标准化将步骤2得到的人脸身份特征编码入生成器，并输入原图像、3D人脸模型渲染图像，输出去遮挡后的人脸图像；4使用人脸身份验证模块计算原图像与合成图像的身份特征差异，作为指导用于优化生成器；5循环步骤1～4，直至生成器收敛。
全文数据：
权利要求：
百度查询： 厦门大学 一种利用语音信息的实时视频人脸区域时空一致合成方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号