买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：武汉大学

摘要：针对事件相机与传统光学相机观测系统存在的视场差异与时间不同步的问题，本发明提供了一种事件相机与传统光学相机的时空匹配方法。该方法基于场景结构相似性指标分别将事件相机输出的图像帧、事件流数据与传统光学相机输出的图像帧数据进行匹配搜索，得到最佳匹配视场区域与时差，从而实现事件相机与传统光学相机的时空匹配。本发明利用了事件流的高时间分辨率优势，将时间连续的事件流数重表示为与传统相机帧率同步的事件帧序列，通过提取和匹配场景结构特征实现高精度的时间匹配，解决了相机之间由于输出帧率不同步导致无法有效时间匹配的问题。

主权项：1.一种事件相机与传统光学相机的时空匹配方法，其特征在于，包含以下步骤：步骤1，在静态场景中获取事件相机和传统光学相机输出的图像帧后，首先利用双线性插值将传统相机的图像分辨率与事件相机的图像分辨率相同，并基于结构相似性SSIM，利用事件相机输出的图像帧和下采样后传统光学相机输出的图像帧进行视框匹配搜索；步骤1中的双线性插值表示为： 其中，I指图像，P＝x，y为待插值点坐标，R1＝x，y1，R2＝x，y2为x方向上的第一次插值坐标，Q11＝x1，y1，Q12＝x1，y2，Q21＝x2，y1，Q22＝x2，y2，为邻近的四个像素点坐标，由于传统光学相机的图像分辨率是事件相机的两倍，因此使用双线性插值对传统光学相机图像帧进行12倍的下采样；在步骤1中结构相似性可以被表示为：SSIMX,Y＝[LX,Ya]×[CX,Yb]×[SX,Yc]其中，SSIM为结构相似度计算函数，a0,b0,c0为各分量的加权系数；μX和μY分别代表X和Y的均值，σX、σY和σXY分别代表图像X和Y的方差以及二者的协方差，C1，C2，C3为用来维持运算稳定的常数，避免除零，其表示为：C1＝k1L2C2＝k2L2C3＝C22其中，设置k1，k2为尺度系数，L为图像灰度级数；步骤2，使用Sobel边缘提取算子对传统光学相机输出的图像帧序列进行场景结构提取，并根据步骤1搜索得到的视框区域进行裁剪以及双线性插值，得到关于场景的结构特征图序列；步骤3，在假定的时间偏移量下，通过将事件流重表示为与传统光学相机帧率相同、时间同步的事件帧序列，并根据步骤1中的视框区域进行裁剪，得到场景的结构特征图序列；步骤4，在一定时间范围内匹配搜索时差，在不同假定时差下重复步骤3生成事件流的结构特征图序列，并与步骤2中得到的结构特征图序列计算平均结构相似度指标，从而得到精确的时间偏移量，输出最佳的时差匹配结果。

全文数据：

权利要求：

百度查询： 武汉大学 一种事件相机与传统光学相机的时空匹配方法