买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国传媒大学;广东南方新媒体股份有限公司

摘要：本发明提供一种深度先验的光流引导视频修复方法，首先将目标视频输入至阶段数固定的深度先验视频框架网络中以对目标视频进行分阶段迭代，每一阶段迭代对应一次经典半二次分裂算法，并且在每一次迭代过程中，由预设的数据模块对目标视频进行数据提取和数据输出，由预设的重建模块锁定所述目标视频中的待修复视频，并对待修复视频进行基于光流引导局部注意力的视频修复以获取修复视频，如此将传统的模型驱动型方法和基于深度学习的数据驱动型方法相结合形成阶段数固定的深度先验视频框架，结合传统方法和基于深度学习提高网络性能表现，提高可解释性和可靠性，并且减少网络设计结构，减少计算开销，提高视频修复效率。

主权项：1.一种深度先验的光流引导视频修复方法，其特征在于，包括：将目标视频输入至阶段数固定的深度先验视频框架网络中以对所述目标视频进行分阶段迭代，每一阶段迭代对应一次经典半二次分裂算法，并且在每一次迭代过程中，由预设的数据模块对所述目标视频进行数据提取和数据输出，由预设的重建模块锁定所述目标视频中的待修复视频，并对所述待修复视频进行基于光流引导局部注意力的视频修复以获取修复视频；其中，使用经典半二次分裂算法对目标视频进行优化时，采用半二次分裂算法来求解优化问题，通过引入一个辅助变量Z将公式描述的无约束优化问题转换成一个约束优化问题：其中，表示原始未受损视频，是指示视频中缺失区域的逐帧二值掩码，⊙表示对应元素逐点相乘，是由原始视频和掩码逐帧进行逐点元素相乘得到的受损的目标视频，表示修复后视频；并将公式重新表述为以下优化问题： 其中，μ是一个惩罚参数；所述半二次分裂算法在以下两个式子之间迭代求解： 其中，k表示半二次分裂算法的迭代索引；μ设置最大，采用迭代的方式增加μ，并且第k次迭代中使用的μ用μk表示；公式与二次正则最小二乘问题有关，其封闭解如下所示： 其中αk-1＝μk-1σ2、公式中的先验项ΦX与原始未受损视频相关，且在实践中只能从受损的视频中估计。将公式和所展示的半二次分裂算法的更新步骤映射成一个由多个阶段组成的网络架构，每个阶段对应于半二次分裂算法中的一次迭代，每个阶段由求解公式的数据模块和学习深度先验的重建模块组成；基于光流引导局部注意力的视频修复以获取修复视频的步骤，包括：将待修复视频切分为局部连续临近帧和全局参考帧，并通过预设的编码器将所述局部连续临近帧转换为局部连续临近特征，将所述全局参考帧转换为全局参考特征；采用预设的光流补全模块对两两之间的局部连续临近帧进行预测和补全以获取双向光流和双向光流遮挡掩码，并基于所述双向光流和所述局部连续临近特征获取补充对齐后的局部连续临近特征；采用预设的帧间修复模块根据所述补充对齐后的局部连续临近特征和所述全局参考特征获取全局时间信息视频特征；通过预设的解码器对所述全局时间信息视频特征进行解码以获取修复视频。

全文数据：

权利要求：

百度查询： 中国传媒大学 广东南方新媒体股份有限公司 深度先验的光流引导视频修复方法、系统