买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:北京衔远有限公司;北京衔远科技有限公司
摘要:本申请涉及计算机技术领域,提供了一种视频生成模型的训练方法、装置、电子设备及存储介质。该方法包括:将各个训练样本输入视频生成模型,对各个训练视频帧、时间步进行特征嵌入,得到训练视频帧的特征图和时间步的特征图;将训练视频帧的特征图和时间步的特征图输入视频生成模型的多个多层感知机多次迭代扩散处理并进行解码得到预测视频的各个视频帧;基于预测视频的各个视频帧和训练视频的各个训练视频帧计算视频生成模型的损失值,并根据损失值更新视频生成模型的参数。解决了现有技术中基于注意力机制的扩散模型训练耗费大量计算资源且训练速度慢的问题,实现以较低计算成本生成高质量的视觉内容。
主权项:1.一种视频生成模型的训练方法,其特征在于,包括:获取训练集,所述训练集包括多个训练样本,所述训练样本包括训练视频的多个训练视频帧;将各个所述训练样本输入所述视频生成模型,对各个所述训练视频的训练视频帧进行特征嵌入,得到各个所述训练视频的训练视频帧的特征图;对所述视频生成模型的多个时间步进行特征嵌入,得到各个所述时间步的特征图;将各个所述时间步的特征图和各个所述训练视频的训练视频帧的特征图输入所述视频生成模型的多个多层感知机,基于各个所述多层感知机对各个所述时间步的特征图和各个所述训练视频的训练视频帧的特征图进行多次迭代扩散处理,得到对应的多个预测视频的视频帧的初始特征图;根据各个所述预测视频的视频帧的初始特征图,确定各个所述预测视频的视频帧的目标特征图;对各个所述预测视频的视频帧的目标特征图进行解码处理,得到各个所述预测视频的各个视频帧;基于各个所述预测视频的各个视频帧和各个所述训练视频的各个训练视频帧计算所述视频生成模型的损失值,并根据所述损失值更新所述视频生成模型的参数。
全文数据:
权利要求:
百度查询: 北京衔远有限公司 北京衔远科技有限公司 视频生成模型的训练方法、装置、电子设备及存储介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。