买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：基于预训练视频生成模型的视频分辨率提升系统及方法，涉及图像处理技术领域，包括：S1、获取待处理的低分辨率视频及其相关文本描述并通过预处理模块进行预处理；S2、将预处理后的低分辨率视频及其相关文本描述通过预训练视频生成模型处理得到高级特征；S3、通过特征提取器从低分辨率视频中提取额外视觉特征；S4、将高级特征及额外视觉特征输入到超分辨率模块得到初步高分辨率视频；S5、将高级特征及初步超分辨率图像输入到融合模块得到最终高分辨率视频。本发明不仅有效提升了视频的空间分辨率，还保持了视频的时间一致性和语义完整性，能够处理各种复杂场景和动态内容，克服了传统方法在处理快速运动和复杂纹理时的局限性。

主权项：1.基于预训练视频生成模型的视频分辨率提升系统，其特征在于，包括：预训练视频生成模型，用于从低分辨率视频及其相关文本描述中提取高级特征；所述预训练视频生成模型采用DiffusionTransformer架构，使用PixArt-a开源高质量文本到图像生成模型，并通过添加时间注意力层扩展为视频生成模型；所述高级特征包括：视频的内容、视频的结构、运动模式；所述相关文本描述包括：视频的标题、简介、标签或内容说明；特征提取器，用于从低分辨率视频中提取额外视觉特征；所述额外视觉特征包括：多尺度特征、边缘细节、纹理信息、运动信息特征；超分辨率模块，用于将高级特征及额外视觉特征生成初步高分辨率视频；所述超分辨率模块包括以下子模块：超分辨率输入子模块：用于接收高级特征和额外视觉特征；特征提取和处理子模块：用于通过三个连续的卷积层对高级特征和额外视觉特征进行特征提取，包括三个卷积层，其中前两个卷积层后面跟有ReLU激活函数以引入非线性，而第三个卷积层则不跟ReLu激活函数；上采样和细节重建子模块：用于通过卷积和上采样操作，逐步增加特征图的空间分辨率，包括两个PixelShuffle上采样层与三个卷积层，其中先通过第一个PixelShuffle上采样层进行上采样，可以在不显著增加计算复杂度的情况下重建高频细节，接着是两个卷积层，其中第一个卷积层后面跟有ReLU激活函数，而第二个卷积层则不跟激活函数，然后再次应用PixelShuffle上采样，以进一步提高分辨率，最后一个卷积层用于最终的细节调整生成初步高分辨率视频；超分辨率输出子模块：用于输出经过上述处理后的初步高分辨率视频帧；融合模块，用于对高级特征及初步高分辨率视频进行融合处理，生成最终高分辨率视频。

全文数据：

权利要求：

百度查询： 湖南国科超算科技有限公司 国科技术(国际)有限公司 基于预训练视频生成模型的视频分辨率提升系统及方法