买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西安电子科技大学

摘要：本发明涉及一种基于多头对比网络的目标跟踪方法，包括构建多头对比网络；获取模板图像；获取对比图像；获取搜索图像；提取图像的深度特征；计算空间依赖关系；计算通道依赖关系；计算语义依赖关系；目标分类和边界框回归；多损失联合训练；分类头和回归头。本发明通过构建多头对比网络，它对骨干网络中的每个卷积层构建一个单独的嵌入空间，学习同一目标不同外观的特征表示的不变性；提出了全局上下文一致性损失，不仅仅保持语义信息上的一致性，也在特征表示的空间关系和通道关系上保持一致性，进一步增强了特征表示的能力，显著的提升了跟踪方法的性能。

主权项：1.一种基于多头对比网络的目标跟踪方法，其特征在于，包括如下步骤：步骤1：构建MCTrack多头对比网络结构：引入多头对比架构和全局一致性学习机制，所述多头对比架构通过在ResNet-50网络的基础上，对每个卷积层增加单独的对比学习模型实现，所述对比学习模型包含一个参数共享的对比孪生网络、一个映射头和一个预测头；所述对比孪生网络包括模板分支和对比分支，所述全局一致性学习机制由空间一致性模块、通道一致性模块和语义一致性模块组成；步骤2：获取模板图像：利用光学摄影系统获取图像序列，对目标周围的区域以平行于坐标轴的方式进行裁剪，作为模板图像Z；步骤3：获取对比图像：对模板图像Z进行数据增强，得到对比图像A；步骤4：获取搜索图像：在当前的视频序列中，选择与模板图像Z不同的视频帧，以平行于坐标轴的方式进行裁剪，其图像分辨率是模板图像Z的2倍大小，作为搜索图像X；步骤5：提取模板图像Z、对比图像A和搜索图像X的深度特征：以ResNet-50网络作为骨干网络，提取第三卷积层、第四卷积层和第五卷积层的输出，即conv3i，conv4i，conv5i，i∈{Z,A,X}；步骤6：计算空间依赖关系：将模板图像Z的深度特征和对比图像A的深度特征输入空间一致性模块，得到特征之间的空间依赖一致性损失；步骤7：计算通道依赖关系：将模板图像Z的深度特征和对比图像A的深度特征输入通道一致性模块，得到特征之间的通道依赖一致性损失；步骤8：计算语义依赖关系：将模板图像Z的深度特征和对比图像A的深度特征输入语义一致性模块，得到特征之间的语义依赖一致性损失；步骤9：目标分类和边界框回归：计算模板图像Z的深度特征和搜索图像X的深度特征之间的互相关，并作为分类头和回归头的输入，得到分类损失和回归损失；步骤10：联合空间依赖一致性损失、通道依赖一致性损失、语义依赖一致性损失、分类损失和回归损失，结合反向传播算法，训练多头对比网络的权重；步骤11：当训练收敛后，进入推理阶段；对于新的视频序列，提取目标的模板图像，并且以前一帧的跟踪结果，提取当前帧的搜索图像；步骤12：以步骤10得到多头对比网络提取模板图像和搜索图像的深度特征；步骤13：计算模板图像的深度特征和搜索图像的深度特征之间的互相关，并作为分类头和回归头的输入，依照分类与回归结果得到当前搜索图像中的目标所在的位置与目标框，即为当前帧的跟踪结果；步骤14：当输入新的一帧视频序列后，转到步骤11继续执行，直到跟踪结束。

全文数据：

权利要求：

百度查询： 西安电子科技大学 基于多头对比网络的目标跟踪方法