买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：东南大学

摘要：本发明公开了一种基于动态最佳缝合线和改进渐入渐出法的视频融合算法，属于视频信息处理技术领域。通过多目摄像机系统采集具有重叠区域的实时视频流；提取重叠区域的特征点并对特征点进行粗匹配和提纯，结合光束平差法计算出每一目摄像机的内参矩阵和旋转矩阵；在对不同视角间的图像进行球面投影并扭曲到同一基准平面后，采用最佳缝合线算法对视频图像进行拼合，针对有运动物体经过图像重叠区域而产生重影和模糊的情况，采用最佳缝合线动态更新算法来避免运动物体穿过缝合线时所产生的重影和模糊现象；利用改进的渐入渐出融合算法得到具有良好视觉效果的宽视场和高分辨率的全景拼接视频。其步骤简单，能够快速得到具有良好视觉效果的拼接图。

主权项：1.一种基于动态最佳缝合线和改进渐入渐出法的视频融合算法，其特征在于：首先使用位置固定的多目摄像机系统在同一时间采集视频信息从而获得多路视频流，通过对多路视频流中的视频图像进行同步、解码、畸变校正、配准对齐、投影映射、搜寻缝合线以及融合，从而将多路视频流整合为具有大视场和高分辨率的实时全景视频流；具体的步骤如下：步骤1：利用多目摄像机系统拍摄包含高速运动物体的视频，对多目摄像机系统进行相机标定，从而得到相机镜头的畸变坐标映射矩阵；步骤2：根据畸变坐标映射矩阵对多目摄像机系统采集的所有视频流中各自的第一帧视频图像进行校正并作图像配准，之后再结合光束平差法得到每一目镜头精确的内参矩阵和旋转矩阵；步骤3：选取多目摄像机系统其中一个镜头的成像平面作为基准平面，根据每一目镜头的内参矩阵和旋转矩阵分别对已校正的第一帧视频图像先进行前向球面映射再进行反向映射到基准平面上，得到投影映射矩阵；由于各张视频图像是相机在不同角度下拍摄得到的，它们并不在同一个投影平面上，如果直接对重叠部分进行拼接，则会破坏实际场景的视觉一致性，所以需要在拼接之前对图像进行投影变换，即对图像进行扭曲变形；设图像中某像素点的二维坐标为x,y，它所对应的世界坐标为X,Y,Z，则两者之间的关系为： 其中，R为旋转矩阵，K为相机的内参矩阵；步骤4：对视频流中后续的每一帧图像根据畸变坐标映射矩阵和投影映射矩阵分别进行畸变校正和球面投影映射；根据多目摄像机系统中各个镜头的分布情况，采用的投影方式为球面投影；设像素点x,y采用球面投影映射后的二维坐标为u,v，则球面投影的前向映射公式为： 其中，s表示尺度，与相机焦距成正比；球面投影的反向映射公式为： 步骤5：利用相邻图像间的单应性变换矩阵求出多目摄像机系统中相邻摄像镜头所拍摄图像之间的重叠区域；步骤6：对重叠区域图像进行高斯模糊和下采样，即通过减小图像尺度来降低计算量；步骤7：对经过高斯模糊和下采样后的重叠区域图像进行基于混合高斯模型MOG的背景去除，从而得到分割出来的前景图像；步骤8：利用最佳缝合线算法计算第一帧重叠区域图像的最佳缝合线，之后的每一帧图像均依据前景图像来判断是否需要重新搜索最佳缝合线，通过判断是否存在缝合线上的像素点落在当前帧的前景图像区域内来确定是否需要重新搜索，若存在，则重新计算当前帧的最佳缝合线并更新，否则继续沿用前一帧图像的最佳缝合线；根据畸变坐标映射矩阵和投影映射矩阵对视频流中的每一帧视频图像分别进行畸变校正和投影映射；求出所有视频图像的重叠区域，并对每一张重叠区域图像重复进行5*5高斯模糊和下采样；由于一张高分辨率图像中的数据存在很多的冗余，因此在高分辨率的图像中搜索最佳缝合线耗时较多；先在降低图像数据冗余的小尺度图像下搜索最佳缝合线，之后再通过线性插值得到图像原尺度下的最佳缝合线；设一张原始图像为I，使用高斯模糊并下采样后得到的图像为G，5*5的高斯模板为wm,n，那么有： 先采用MOG对下采样后的每一个重叠区域图像进行背景去除，再对其进行先腐蚀后膨胀的操作，最终得到当前图像的前景区域；判断前一帧图像搜寻出的最佳缝合线上是否有像素点落在当前帧的前景区域，若有，则更新最佳缝合线，即重新计算当前帧图像的最佳缝合线，否则继续沿用前一帧图像的最佳缝合线；如果需要更新最佳缝合线，使用基于动态规划的最佳缝合线算法进行搜寻更新；将在小尺度图像中搜寻到最佳缝合线进行线性插值得到原图像尺度下的最佳缝合线；基于动态规划的最佳缝合线算法，具体表现为在相邻两幅图像的重叠区域寻找一条最佳缝合线，在该缝合线上的像素点彼此最为相似；为了搜索最佳缝合线，定义一个相似函数ei,j，用于衡量像素之间的灰度、梯度和纹理强度的相似度，ei,j越小，则表明两图像在该像素位置越相似： 其中ξIi,j和表示重叠区域同一像素位置I1i,j和I2i,j的强度差和梯度差，w1和w2为强度差和梯度差的权重，且w1+w2＝1；w1取为0.3，w2取为0.7；设Ex,y表示沿着缝合线从缝合线起点到像素点x,y的累积相似度度量，由于限制了重叠区域每一行只取一个像素点作为最终最佳缝合线上的点，因此最优化问题具有最优子结构，使用动态规划算法来计算重叠区域的最佳缝合线，迭代方程如下： 步骤9：若更新最佳缝合线，则使用基于动态规划的最佳缝合线算法对小尺度下的图像进行搜寻更新；步骤10：将在小尺度图像中搜寻到最佳缝合线进行线性插值得到原尺度下的最佳缝合线；步骤11：基于寻找到的最佳缝合线，采用改进的渐入渐出融合算法对多目摄像机系统同一时刻获取的多幅图像进行融合，最终获得整张融合后的全景图像；基于搜索到的最佳缝合线，使用改进的渐入渐出算法对拼接图像进行融合的具体方法为：1划分重叠区域：基于重叠区域搜索到的最佳缝合线，重叠区域分为三个部分，第一部分为重叠区域的左边界到最佳缝合线之间的区域，第二部分为最佳缝合线，第三部分为最佳缝合线到重叠区域的右边界；2分别对重叠区域的三个部分进行融合：对于最佳缝合线左右两个区域依然按照现有的渐入渐出法进行融合，之后再加上搜索到的最佳缝合线即可完成总的图像融合，最终可以达到消除拼接图像重叠区域的重影、模糊、拼接缝和过渡不平滑的问题；渐入渐出融合算法基于动态最佳缝合线，将重叠区域分为三个部分，第一部分为重叠区域的左边界到最佳缝合线之间的区域，第二部分为最佳缝合线，第三部分为最佳缝合线到重叠区域的右边界；对最佳缝合线的两边依然按照现有的渐入渐出法进行融合，再加上最佳缝合线完成总的图像融合，最终可以达到消除重影、模糊、拼接缝和光照差异问题；该算法的公式为： 其中，I1表示参考图像到重叠区域左边界的像素点，I1∩Iseam表示重叠区域左边界到最佳缝合线Iseam之间的像素点，Iseam∩I2表示最佳缝合线到重叠区域右边界之间的像素点，I2表示重叠区域右边界到待拼接图像的像素点，d1+dseam1＝1,0d11,dseam2+d2＝1,0d21，各系数的具体计算公式如下： 其中，xi表示重叠区域当前像素点的横坐标，xl表示重叠区域左边界点的横坐标，xr表示重叠区域右边界点的横坐标，xseam表示最佳缝合线上点的横坐标。

全文数据：

权利要求：

百度查询： 东南大学 一种基于动态最佳缝合线和改进渐入渐出法的视频融合算法