买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明公开了一种利用事件相机数据进行动态帧插补方法，该方法包含以下步骤：S1.使用FPGA同步事件相机和RGB相机数据；S2.对采集得到的事件流数据执行动态积分，以生成连续的事件积分图像序列；S3.对连续的事件帧预测出光流，利用估计的光流对关键帧进行扭曲变形，生成新帧；S4.使用合成方法直接从边界关键帧和事件序列中融合信息，预测新帧；S5.将合成插值结果、变形插值结果及光流估计结果输入至注意力网络，以优化并确定最终新帧，随后将新帧与原始帧融合，形成平滑连续的视频流；本发明有效解决了传统插帧技术在处理复杂动态场景时帧数固定和计算资源浪费的问题。

主权项：1.一种利用事件相机进行动态帧插补方法，其特征在于：包括如下步骤：步骤一、使用硬件同步设置，设置包括传感器组件；传感器组件为事件相机和高分辨率、高帧率的RGB相机，该传感器组件能够同时捕获高分辨率的事件相机数据和高帧率的RGB图像数据；步骤二、使用SSIM相似度评估对采集到的事件数据进行动态积分处理，将异步的事件数据转换为连续的事件积分图像表示；所述步骤二中的事件的动态积分处理步骤如下：首先移动对象被事件相机捕获，异步事件像素在时空域中呈现为三维分布（x,y,t），其中x和y代表事件的空间坐标，t代表时间戳；使用结构相似性指数SSIM来评估相邻事件帧之间的相似性，从而评估运动和场景变化的速度，将SSIM作为损失函数，用于优化时间窗口，SSIM公式如下： ，其中和是被求值的两个相邻图像，和分别是图像和的平均值，和分别是图像和的方差，是和的协方差，设=k1L2、=k2L2，L是图像像素值的动态范围，k1和k2是两个常数参数，的值介于0到1之间,给出一个损失为： ， ， 表示第个事件帧的时间窗大小，表示阈值参数，根据损失函数的结果，动态调整时间窗口；如果损失函数的值较大，意味着相邻帧之间的变化较大，则需要减小时间窗口以捕捉更多的细节；如果损失函数的值较小，意味着变化较小，则需要增加时间窗口以减少计算量；步骤三、提供基于卷积神经网络的光流估计，从两个连续的积分事件帧中学习光流，光流估计通过训练数据学习如何从事件中提取运动信息，利用估计的光流对关键帧进行扭曲变形，生成初步的新帧估计；步骤四、使用合成模块直接从边界关键帧和事件序列中融合信息，预测新帧；步骤五、使用注意力网络来学习如何最佳地结合基于合成和基于变形的插值结果，注意力网络接收多个输入，至少包括基于合成的插值结果、基于变形的插值结果、光流估计结果以及新帧相对于边界关键帧的时间位置；将生成的新帧与原始帧融合，形成连续的视频流，并进行输出。

全文数据：

权利要求：

百度查询： 安徽大学 西北核技术研究所 一种利用事件相机进行动态帧插补方法