杭州秋果计划科技有限公司曹卫获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉杭州秋果计划科技有限公司申请的专利一种数字人的口型视频生成方法及装置获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120640101B 。
龙图腾网通过国家知识产权局官网在2026-01-13发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202511128078.6,技术领域涉及:H04N21/854;该发明授权一种数字人的口型视频生成方法及装置是由曹卫;莫凌强;史春苓;陈科科设计研发完成,并于2025-08-13向国家知识产权局提交的专利申请。
本一种数字人的口型视频生成方法及装置在说明书摘要公布了:本申请实施例公开了一种数字人的口型视频生成方法及装置,涉及数字人技术领域,用于解决现有生成图像分辨率低以及口型同步精度低的问题。方法包括:在获取到目标语音所对应的音频特征,与参考视频中任意一帧视频图像所对应的嘴部特征的情况下,将其输入预置第一神经网络,以输出目标嘴部图像序列;通过预置底片选取策略,对参考视频进行筛选,获得底片图像;将底片图像与目标嘴部图像序列,输入预置第二神经网络进行融合处理输出数字人口型视频图像。
本发明授权一种数字人的口型视频生成方法及装置在权利要求书中公布了:1.一种数字人的口型视频生成方法,其特征在于,所述方法包括: 在获取到目标语音所对应的音频特征,与参考视频中任意一帧视频图像所对应的嘴部特征的情况下,将其输入预置第一神经网络,以输出目标嘴部图像序列; 通过预置底片选取策略,对所述参考视频进行筛选,获得底片图像; 将所述底片图像与所述目标嘴部图像序列,输入预置第二神经网络进行融合处理输出数字人口型视频图像; 将其输入预置第一神经网络,以输出目标嘴部图像序列之前,还包括: 提取参考视频中任意一帧视频图像,获取所述任意一帧视频图像的预置嘴部区域所对应的嘴部区域图像;具体地,收集当前数字人角色所对应不同表情与姿态的人脸图像数据,并获取识别嘴部关键点在各人脸图像数据中所对应的位置序列;确定各人脸图像数据中所对应的位置序列与预置边缘方向,确定各预置边缘方向所对应的最边缘位置;以根据各最边缘位置与预置边界扩展值确定嘴部区域在人脸图像的区域范围,从而固定该区域范围为预置嘴部区域;其中,该预置边界扩展值根据各预置边缘方向所对应的扩展比例确定; 通过预置底片选取策略,对所述参考视频进行筛选,获得底片图像,具体包括: 确定所述目标语音所对应的语音阶段;其中,所述语音阶段为根据目标语音所对应的语音时间与音频能量确定,包括:正常语音阶段、闭嘴阶段; 获取所述参考视频的参考嘴部开合度序列与所述目标嘴部图像序列的目标嘴部开合度序列,以对所述参考嘴部开合度序列与所述目标嘴部开合度序列,进行动态匹配,获得匹配结果; 结合所述语音阶段与所述匹配结果,对所述参考视频进行底片筛选,获得底片图像; 其中,结合所述语音阶段与所述匹配结果,对所述参考视频进行底片筛选,获得底片图像,具体包括: 若确定所述语音阶段为正常语音阶段,则根据匹配结果对所述参考视频进行底片筛选,获得初始底片图像; 若确定所述语音阶段为闭嘴阶段,则获取预存闭嘴图像作为初始底片图像; 对所述初始底片图像的嘴部区域进行遮盖,获得所述底片图像。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人杭州秋果计划科技有限公司,其通讯地址为:310000 浙江省杭州市滨江区长河街道网商路699号4号楼5楼502室;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励