买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国科学院计算技术研究所

摘要：本发明提出一种基于草图的深度人脸视频编辑方法和系统，包括对齐并裁剪原视频，并将人脸编码至隐空间，得到人脸视频中所有帧的隐码；添加草图生成分支至StyleGAN，反向优化图像隐码，生成编辑向量δedit；将编辑向量δedit叠加到所有帧的隐码，完成时序无关编辑的传播；使用分段线性函数的权重叠加编辑向量δedit，完成动作或表情的编辑传播；根据当前帧与编辑帧的表情参数的相似度，计算权重叠加编辑向量δedit，使编辑与特定表情相对应，完成表情驱动编辑传播；使用区域感知融合方法，融合不同帧添加的不同类型的编辑，并将人脸融合至原视频。

主权项：1.一种基于草图的深度人脸视频编辑方法，其特征在于，包括：步骤1、对齐并裁剪原视频中人脸，并将人脸编码至隐空间，得到人脸视频中所有帧的隐码；步骤2、添加草图生成分支至StyleGAN生成网络，反向优化图像隐码，生成编辑向量δedit；其中草图生成分支的处理对象是用户绘制的草图，且该草图绘制在标记区域上，该标记区域覆盖真实图像的一个区域；步骤3、将编辑向量δedit应用到所有帧的隐码，完成时序无关编辑的传播；步骤4、使用分段线性函数的权重与编辑向量δedit相乘，完成动作或表情的编辑传播；步骤5、根据当前帧与编辑帧的表情参数的相似度，计算权重叠加编辑向量δedit，使编辑向量δedit与特定表情相对应，完成表情驱动编辑传播；步骤6、使用区域感知融合方法，融合不同帧添加的不同类型的编辑，并将人脸融合至原视频，得到基于草图的人脸视频编辑结果；其中检测人脸视频的人脸关键点，并使用时间窗口平滑后，对人脸进行对齐和裁剪，生成视频帧序列f1,f2,…,fN，其中，N是该人脸视频的帧数；将帧序列投影至隐空间W+，生成隐码序列w1,w2,…,wN；该步骤2包括：获取StyleGAN原始生成网络G，并构建用于建模真实人脸图像及草图的联合概率分布的生成网络生成网络包括和两个分支，为G的原始生成网络，用于生成拟真人脸图像，用于生成对应的草图图像；给定图像的隐码w，生成特征图F1,F2,…,F14，其中，F1用作分支的初始的特征图；分支的特征图经上采样，与特征图Fi卷积后的残差图相加，生成隐码w对应的草图图像；使用图像与草图匹配的数据集，训练草图生成网络S，其以人脸图像为输入，生成对应的草图，用于训练训练草图生成分支随机采样隐码w，将其输入生成高真实感人脸图像和对应草图构建损失函数训练草图生成分支 LVGG是感知损失函数，使用VGG19模型衡量视觉相似度，LL2是像素L2损失，α1和α2均为预设权重；在对真实图像和草图的分布建模后，根据输入的人脸图像x，绘制的草图sedit和选中区域medit；将人脸图像x投影至W+空间，得到隐码wedit，生成的草图在编辑区域和输入草图相同，生成的图像在非编辑区域与原始图像相同，其中通过下述损失函数得到wedit：Leditingwedit＝β1Lsketch+β2Lrgb,Lsketch约束编辑区域与草图结果结构相同，Lrgb约束非编辑区域保持不变，β1与β2为超参数，通过固定生成网络的权重，得到wedit；最终的编辑向量δedit＝wedit-w，δedit表示了草图的编辑，并传播到整个人脸视频；对每一帧fi，生成对应的编辑向量：δi＝δedit,i＝1,2,…,N该步骤3包括将每一帧fi对应的δedit传播至整个人脸视频，生成编辑后的帧序列。

全文数据：

权利要求：

百度查询： 中国科学院计算技术研究所 基于草图的深度人脸视频编辑方法及系统