买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国人民解放军海军航空大学

摘要：本发明公开了一种高效实时视频拼接方法，属于图像处理领域。该方法通过图像拼接网络实时融合目标与参考图像为完整帧，再将这些帧按时间顺序组合成视频。本发明通过多尺度特征提取和特征融合，实现了精准的局部特征和抽象的全局特征的融合，可以更好地处理拼接中像素细节的局部变换和整体变换趋势，提高了图像拼接的精度，同时也避免了复杂的特征融合策略，减少了内存消耗，带来了速度的提升。

主权项：1.一种高效实时视频拼接方法，步骤包括：步骤1、将相同时刻的目标图像和参考图像通过图像拼接网络实时拼接为完整图像帧；步骤2、将不同时刻的完整图像帧按时间顺序拼接为视频；其特征在于：步骤1中的图像拼接网络的处理过程为：先将目标图像和参考图像分别进行多尺度特征提取，得到目标图像和参考图像的第一尺度特征图和第二尺度特征图；然后根据目标图像的第一尺度特征图和参考图像的第一尺度特征图相融合的融合特征图得到单应性变换矩阵，并利用单应性变换矩阵对目标图像的第二尺度特征图进行单应性变换实现初步对齐；再根据目标图像的第二尺度特征图经单应性变换后的特征图与参考图像的第二尺寸特征图相融合的融合特征图得到单应性变换的控制点偏移值残差，并将单应性变换矩阵应用于TPS变换的网格控制点得到TPS变换的网格控制点的新坐标；然后根据控制点偏移值残差和TPS变换的网格控制点的新坐标求解TPS变换，再将TPS变换应用于目标图像；最后将完成TPS变换的目标图像与参考图像拼接为完整图像帧；步骤2具体包括：步骤2-1、从所有的完整图像帧中选择一个完整图像帧作为参考帧，将其它完整图像帧作为目标帧，将参考帧的坐标系作为视频拼接的参考坐标系；步骤2-1中参考坐标系的选择方式具体为：首先计算所有完整图像帧的畸变值： ；其中，为第个完整图像帧的畸变值，为完整图像帧的数量，为第个完整图像帧的图像面积，为第个完整图像帧变换到第个完整图像帧的坐标系之后的图像面积；然后将个畸变值中的最小值所对应的完整图像帧作为参考帧，将参考帧的坐标系作为视频拼接的参考坐标系；步骤2-2、计算各目标帧变换到参考坐标系的变换矩阵，然后各目标帧根据变换矩阵完成至参考坐标系的变换；步骤2-2中，设参考帧是第个完整图像帧，对于任一目标帧，首先计算与之间所有相邻帧之间的中间变换矩阵，然后将所有中间变换矩阵按从到的方向依次相乘，得到从向的变换矩阵；步骤2-3、各目标帧根据其变换矩阵得到对应的局部区域，然后将所有目标帧的局部区域与参考帧按时间顺序进行融合得到视频；步骤2-3中，对于任一目标帧，设： ；其中，和分别为变换至参考坐标系后的目标帧的宽度和高度；则有： ，，，，； 和即为目标帧中将参与融合的矩形局部区域的左上角坐标和右下角坐标。

全文数据：

权利要求：

百度查询： 中国人民解放军海军航空大学 高效实时视频拼接方法