买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
摘要:本发明提供了一种无时空编码的视频超分辨率方法,包含:S1.生成图像概要;S2.图像概要与图像局部特征融合:构建无时空编码的交叉注意力神经网络,使用该交叉注意力神经网络将图像概要和图像局部特征图融合,提取像素块之间在空间和时间上的相关性;S3.局部特征扩散建模:建立一个基于扩散原理的模型,通过其扩散过程和生成过程,提升高清图像的生成能力。本发明有效地解决了旧方法因时空编码导致生成内容与原内容偏差过大的问题,实现视频超分后的视频质量提升。
主权项:1.一种无时空编码的视频超分辨率方法,其特征在于,包含以下步骤:S1.生成图像概要:将输入视频帧统一调整为相同分辨率的图像,然后分别输入到变分自编码器和全连接网络,分别得到图像概要C和图像局部特征图X;S2.图像概要与图像局部特征融合:构建无时空编码的交叉注意力神经网络,使用所述交叉注意力神经网络将所述图像概要和所述图像局部特征图融合,提取像素块之间在空间和时间上的相关性,具体地,将所述图像局部特征图X划分为n个像素块,移动像素块得到特征图;同时使用所述全连接网络将所述图像概要C处理成图像概要;最后、、进行交叉自注意力计算得到;重复n次上面步骤,得到输出结果,通过以下计算过程构建对应的神经网络称为交叉注意力神经网络(CrossNet),所述计算过程包括:T1:将步骤S1中得到的所述图像概要C,经过全连接神经网络,得到图像概要;同时将图像局部特征的第一个像素块,以循环移动位置的方式,将其移动到像素块的最后位置,得到图像局部特征;接着将、、输入到交叉自注意力神经网络CA1计算得到,其中图像概要提供了图像块之间的相关性,图像局部特征提供了相邻像素之间的关系,计算过程为,然后以作为标准交叉注意力计算中的数据源,作为和的数据源;T2:在T1完成后,进入T2计算过程,T2计算过程和T1区别在于,在交叉自注意力计算时,输入是、、,其中是前面T1计算得到的,将步骤S1中的图像概要C经过全连接神经网络得到图像概要,同时将图像局部特征的第一个和第二个像素块,以循环移动位置的方式,将其分别移动到像素块的倒数第二个位置和最后位置,得到图像局部特征;以此类推,重复n次上面步骤,得到输出结果;S3.局部特征扩散建模:建立基于扩散原理的模型,通过其扩散过程和生成过程,提升高清图像的生成能力。
全文数据:
权利要求:
百度查询: 广东博华超高清创新中心有限公司 一种无时空编码的视频超分辨率方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。