买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明涉及基于泰勒解耦和记忆单元校正的视频预测方法，属于计算机视觉视频技术领域。针对具有时序相干性的自监督视频预测任务，本发明利用分而治之的思想，将视频帧在高维空间上分解为泰勒分量和残差分量，然后再分别对这两部分进行时序上的推导，最后通过融合这两部分的时序推导信息来预测未来的视频帧。其中泰勒分量只利用第一帧的信息进行时序推导，用来挖掘出复杂的视频序列动态数据中存在的物理规律，并用融合了所有之前的帧信息的记忆单元对时序推导的泰勒分量进行校正，用来模拟视频序列中的额外的变量。残差分量的时序推导用简单的3层ConvLSTM实现。实验结果表明，本发明可以有效的进行长距离的视频预测，并在不同的数据集上也有不错的泛化能力。

主权项：1.基于泰勒解耦和记忆单元校正的视频预测方法，其特征在于包括以下步骤：步骤1、将所有视频帧从像素值范围[0,255]归一化到[0,1]；步骤2、将输入视频帧的第一帧x0送入编码器E，得到16×16×64的深度特征u0，然后将u0分别送入泰勒编码器和残差编码器，得到泰勒分量和残差分量步骤3、将泰勒分量送入泰勒模型，推导出下一时刻的预测泰勒分量再将送入泰勒解码器得到预测泰勒特征所述步骤3具体方法包括以下步骤：1将输入视频帧的第一帧x0得到的泰勒分量送入偏微分模型得到将再次送入偏微分模型得到再用记忆单元Kt对进行校正可以得到时刻t的预测泰勒分量2将预测泰勒分量送入两层级联的卷积层进行解码，将泰勒特征空间转换为融合特征空间，两层卷积核分别是3×3×64、3×3×64；所述记忆单元校正的具体方法包括以下步骤：1将t-1时刻的输入视频帧依次送入编码器E和泰勒编码器，得到此视频帧的泰勒分量然后将它和记忆单元的隐藏状态et-1级联，通过一层卷积层得到更新门z和重置门r，然后通过一层卷积层，得到候选状态再用候选状态对隐藏状态进行更新，得到记忆单元t时刻的隐藏状态2将et和级联，通过一层卷积层得到t时刻的校正项Kt，再用Kt对进行校正，得到t时刻的预测泰勒分量步骤4、将残差分量送入残差模型，推导出下一时刻的预测残差分量再将送入残差解码器得到预测残差特征步骤5、将预测泰勒特征和预测残差特征相加，将和送入解码器D，得到下一时刻的预测帧步骤6、让剩余所有除最后一帧外的输入视频帧依次完成步骤2～5，得到预测输入视频帧步骤7、让最后一帧输入视频帧xt-1依次完成步骤2～5，得到第一帧预测目标视频帧步骤8、让第一帧预测目标视频帧完成步骤2～5，得到下一时刻的预测目标视频帧步骤9、重复步骤8直到输出所有的预测目标视频帧；步骤10、调整所有预测目标视频帧的像素值范围从[0,1]到[0,255]，得到最终的预测目标视频序列。

全文数据：

权利要求：

百度查询： 北京邮电大学 基于泰勒解耦和记忆单元校正的视频预测方法