广东工业大学杨志景获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉广东工业大学申请的专利一种基于内容感知的深度肖像视频合成方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115578298B 。
龙图腾网通过国家知识产权局官网在2025-08-29发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202211064320.4,技术领域涉及:G06T5/50;该发明授权一种基于内容感知的深度肖像视频合成方法是由杨志景;郑斯;陈俊彬设计研发完成,并于2022-08-31向国家知识产权局提交的专利申请。
本一种基于内容感知的深度肖像视频合成方法在说明书摘要公布了:本发明涉及人脸图像与视频合成技术领域,公开了一种基于内容感知的深度肖像视频合成方法,通过运动估计模块对肖像区域的运动进行了充分的建模,并通过背景估计模块来提取目标参考图片的背景,从而获得充分的全内容肖像视频网络输入内容,以最大限度地提高肩部和背景等区域的确定性,全内容肖像视频网络对肖像条件和背景条件进行细化和融合,并与先前生成的帧合成视频,全内容肖像视频网络只需学习对内容进行细化和融合,而不需要修复缺失的内容,从而确保合成视频中的确定性和稳定性。
本发明授权一种基于内容感知的深度肖像视频合成方法在权利要求书中公布了:1.一种基于内容感知的深度肖像视频合成方法,其特征在于,包括: S1、获取原始目标视频数据集,所述原始目标视频数据集的每个视频中的角色都不同于其他视频; S2、对原始目标视频数据集进行预处理,将每个视频的帧分割为训练集和测试集; S3、构建肖像视频合成模型,肖像视频合成模型包括外貌特征捕捉模块、运动估计模块、背景估计模块和全内容肖像视频网络,外貌特征捕捉模块与运动估计模块连接,运动估计模块和背景估计模块分别与全内容肖像视频网络相连接;外貌特征捕捉模块用于从给定肖像图像中提取外貌相关特征;运动估计模块用于根据提取的外貌特征预测给定肖像图像的每个部分的运动,生成肖像条件;背景估计模块用于捕捉背景信息,生成背景条件;全内容肖像视频网络用于将肖像条件和背景条件进行融合细化,并根据先前生成的帧合成视频; 外貌特征捕捉模块为编码器,运动估计模块包括依次连接的无监督深度学习网络和解码器; 运动估计模块的训练如下: 获取给定目标视频和任意源视频,训练时从源视频中选取一帧作为目标参考图片,测试时从目标视频中选取一帧作为驱动视频帧,而为源视频的第i帧,i=1,2,..,M; 先使用一个编码器从目标参考图片中提取外貌相关特征: 然后利用运动估计模块的无监督深度学习网络去计算与驱动视频帧之间的运动,具体来说,该运动p为驱动视频帧到目标参考图片包括脸部、肩部在内的各部分动作的映射,驱动视频帧肖像的运动由一组关键点及其局部仿射变换表示,用一个光流表示关键点信息和局部仿射变换的参数信息,这些参数使得关键点附近的姿态信息可以通过仿射变换得到;此外,运动估计模块的无监督深度学习网络同时估计了一个遮挡图;遮挡图用于指示出扭曲后缺失的区域;接着,将估计到的运动作用于中,得到扭曲后的外貌特征: 式中表示扭曲操作,表示哈达玛积;最后将扭曲后的特征通过解码器生成一张迁移动作后的图片: ; S4、利用训练集对外貌特征捕捉模块、运动估计模块、背景估计模块和全内容肖像视频网络分别进行训练,利用测试集测试肖像视频合成模型的有效性,得到训练好的肖像视频合成模型; S5、获取待合成的目标参考照片和驱动源视频,目标参考照片为给定目标演员的肖像,驱动源视频为源演员的动作视频;将目标参考照片和驱动源视频输入训练好的目标检测模型,输出给定目标演员的驱动视频,该视频模仿源演员的动作,同时保留目标演员的身份、外观和背景变化。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人广东工业大学,其通讯地址为:510090 广东省广州市越秀区东风东路729号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。