买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜广州紫为云科技有限公司申请的专利文字驱动的唇音同步数字人生成方法、装置、设备及介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119274534B 。

龙图腾网通过国家知识产权局官网在2025-04-08发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411257991.1，技术领域涉及：G10L13/08；该发明授权文字驱动的唇音同步数字人生成方法、装置、设备及介质是由顾友良;李观喜;徐贤威;张磊设计研发完成，并于2024-09-09向国家知识产权局提交的专利申请。

本文字驱动的唇音同步数字人生成方法、装置、设备及介质在说明书摘要公布了：本申请涉及一种文字驱动的唇音同步数字人生成方法、装置、设备及介质，包括：获取输入文本和单一对象视频，对输入文本进行预处理得到音素序列和语义特征；对单一对象视频进行预处理得到循环播视频段落、遮罩脸部图像和参考脸部图像；基于音素序列和语义特征生成语音特征；基于语音特征生成音频序列；根据遮罩脸部图像、参考脸部图像和语音特征获取脸部变形参数并对参考脸部图像进行变形，生成目标脸部图像；将目标脸部图像嵌入视频段落的视频帧中生成视频序列并与音频序列拼合得到目标数字人视频。基于文本驱动生成数字人视频能够即时生成与文本匹配的语音和唇形视频，消除了等待文字换成语音处理的时间延迟，极大地提高了数字人视频制作的效率。

本发明授权文字驱动的唇音同步数字人生成方法、装置、设备及介质在权利要求书中公布了：1.一种文字驱动的唇音同步数字人生成方法，其特征在于，所述方法包括：获取输入文本和单一对象视频，对所述输入文本进行预处理，得到音素序列和语义特征；对所述单一对象视频进行预处理，得到可无限循环播放的视频段落、遮罩脸部图像和参考脸部图像；基于所述音素序列和所述语义特征生成语音特征；基于所述语音特征生成音频序列；根据所述遮罩脸部图像、所述参考脸部图像和所述语音特征获取脸部变形参数，基于所述脸部变形参数对所述参考脸部图像进行变形，生成目标脸部图像；将所述目标脸部图像嵌入所述视频段落的视频帧中，生成视频序列；其中，所述遮罩脸部图像、所述参考脸部图像和所述语音特征获取脸部变形参数，包括：对所述遮罩脸部图像、所述参考脸部图像和所述语音特征进行编码分别得到脸部特征、参考脸部特征和唇形特征；将所述脸部特征与所述参考脸部特征拼合并压缩为一维的图像变换参数，将所述图像变换参数和所述唇形特征进行拼合，得到脸部变形参数；其中，所述基于所述脸部变形参数对所述参考脸部图像进行变形，生成目标脸部图像，包括：利用卷积神经网络的残差卷积模块对所述参考脸部特征进行处理，获得参考脸部深层语义特征；对所述脸部变形参数进行维度变换与特征嵌入，获得嵌入脸部变形参数；利用卷积神经网络的全卷积层对所述嵌入脸部变形参数进行处理，分别获得缩放矩阵、旋转矩阵与平移矩阵；利用所述缩放矩阵、所述旋转矩阵和所述平移矩阵对所述参考脸部深层语义特征进行变形得到变形后的参考脸部特征；将所述脸部特征与变形后的参考脸部特征拼合，得到拼合特征；对所述拼合特征进行逐步上采样恢复并增强特征的空间分辨率，生成目标脸部图像；将所述视频序列和所述音频序列拼合，得到目标数字人视频。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人广州紫为云科技有限公司，其通讯地址为：510000 广东省广州市黄埔区香雪八路98号F栋20层2001-1房；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。