买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:安徽大学;西北核技术研究所
摘要:本发明公开了一种利用事件相机数据进行动态帧插补方法,该方法包含以下步骤:S1.使用FPGA同步事件相机和RGB相机数据;S2.对采集得到的事件流数据执行动态积分,以生成连续的事件积分图像序列;S3.对连续的事件帧预测出光流,利用估计的光流对关键帧进行扭曲变形,生成新帧;S4.使用合成方法直接从边界关键帧和事件序列中融合信息,预测新帧;S5.将合成插值结果、变形插值结果及光流估计结果输入至注意力网络,以优化并确定最终新帧,随后将新帧与原始帧融合,形成平滑连续的视频流;本发明有效解决了传统插帧技术在处理复杂动态场景时帧数固定和计算资源浪费的问题。
主权项:1.一种利用事件相机进行动态帧插补方法,其特征在于:包括如下步骤:步骤一、使用硬件同步设置,设置包括传感器组件;传感器组件为事件相机和高分辨率、高帧率的RGB相机,该传感器组件能够同时捕获高分辨率的事件相机数据和高帧率的RGB图像数据;步骤二、使用SSIM相似度评估对采集到的事件数据进行动态积分处理,将异步的事件数据转换为连续的事件积分图像表示;步骤三、提供基于卷积神经网络的光流估计,从两个连续的积分事件帧中学习光流,光流估计通过训练数据学习如何从事件中提取运动信息,利用估计的光流对关键帧进行扭曲变形,生成初步的新帧估计;步骤四、使用合成模块直接从边界关键帧和事件序列中融合信息,预测新帧;步骤五、使用注意力网络来学习如何最佳地结合基于合成和基于变形的插值结果,注意力网络接收多个输入,至少包括基于合成的插值结果、基于变形的插值结果、光流估计结果以及新帧相对于边界关键帧的时间位置;将生成的新帧与原始帧融合,形成连续的视频流,并进行输出。
全文数据:
权利要求:
百度查询: 安徽大学 西北核技术研究所 一种利用事件相机进行动态帧插补方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。