买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:中国科学院自动化研究所;北京三星通信技术研究有限公司
摘要:本发明属于模式识别与机器学习领域,具体涉及了一种基于相关性动态滤波的端到端多帧超分辨方法及系统,旨在解决现有多帧超分辨依赖光流场信息进行多帧图像的空间对齐,计算复杂、超分辨效果达不到预期的问题。本发明包括:通过特征提取器提取不同图像帧的特征,计算目标帧每个像素点与支撑帧上对应点周围像素点的特征之间的相关性,获得目标帧和每一个支撑帧的特征之间的相关性矩阵;通过滤波器计算每一个支撑帧的特征的滤波核,并进行对应的支撑帧的动态滤波;通过解码器融合目标帧和滤波后的支撑帧的特征,获得超分辨图像。本发明不依赖光流场信息进行多帧图像的空间对齐,更加轻量和稳定,可以以较小的参数量和计算量取得更优的性能。
主权项:1.一种基于相关性动态滤波的端到端多帧超分辨方法,其特征在于,所述多帧超分辨方法包括:步骤S10,基于卷积神经网络分别构建特征提取器和解码器,基于多卷积层的神经网络构建滤波器,所述特征提取器、所述滤波器和所述解码器构成超分辨生成模型;步骤S20,通过所述特征提取器分别提取训练用多帧序列图像中目标帧和每一个支撑帧的特征,并分别计算目标帧中每个像素点与每一个支撑帧中对应像素点的邻域p×p个像素点的特征之间的相关性,获得目标帧和每一个支撑帧的特征之间的相关性矩阵;步骤S30,基于所述相关性矩形,通过所述滤波器计算每一个支撑帧的特征对应的滤波核,并通过所述滤波核进行对应的支撑帧的特征的动态滤波,获得动态滤波后的支撑帧的特征;步骤S40,通过所述解码器融合目标帧的特征与每一个所述动态滤波后的支撑帧的特征,并计算融合获取的超分辨图像与真实标签之间的损失值;步骤S50,若所述损失值大于设定阈值,则通过反向传播算法调整模型权重,并跳转步骤S20进行超分辨生成模型的迭代训练,直至达到设定的训练结束条件,获得训练好的超分辨生成模型;步骤S60,通过训练好的超分辨生成模型,基于获取的待处理多帧序列图像,生成对应的超分辨图像。
全文数据:
权利要求:
百度查询: 中国科学院自动化研究所 北京三星通信技术研究有限公司 基于相关性动态滤波的端到端多帧超分辨方法及系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。