买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：电子科技大学(深圳)高等研究院

摘要：本发明属于计算机视觉中的目标跟踪领域，具体涉及一种基于自适应运动预测与表观学习的多目标跟踪方法。本发明引入跨任务特征学习网络，通过目标检测与表观学习两个任务之间的互相关操作有效实现了任务所需特征的特性与共性学习；为了解决现有方法中线性运动模型的不足，本发明建立自适应运动预测模块，基于注意力机制并结合轨迹池，对单个目标轨迹时序信息与多个目标轨迹交互信息进行建模，有效学习了目标运动模式；本发明涉及了运动预测与表观学习互补的数据关联策略，针对检测得分高低决定是否考虑外观特征作为数据关联的依据。在多个大规模公开数据集上实验，相较于其他先进的多目标跟踪方法，本发明在两个数据集上多个评价指标中表现最优。

主权项：1.一种基于自适应运动预测与表观学习的多目标跟踪方法，其特征在于，包括以下步骤：S1、构建训练数据集：从已有数据集中获取连续帧图像作为样本数据，将每条样本数据分为当前帧和历史帧，记录当前帧中每个目标的位置信息以及每个目标在历史帧中的位置偏移量，将目标i的位置编码表示为分别为目标的中心点坐标和帧间偏移量；对应样本标签为对当前帧所有待跟踪目标计算其与下一帧位置的偏移量，表示为[α，β，λ，μ]的形式，分别表示目标边界框对于下一帧边界框中心点位置、宽高的偏移量；S2、构建基于自适应运动预测与表观学习的多目标跟踪模型，包括特征提取网络、跨任务特征学习网络、目标检测分支、表观学习分支、自适应运动预测模块与历史轨迹池、运动预测与表观学习互补的数据关联模块；所述特征提取网络的输入为样本数据中的当前帧，输出为特征f；所述跨任务特征学习网络包括两条分支，输入为特征f，维度为C×W×H，分表表示输入帧的图像通道数、宽度和高度；在第一条分支，特征f经过平均池化后得到检测初始特征检测初始特征经过1×1的卷积并重塑得到二维向量M1，M1进行特征自相关操作得到特殊性响应图S1；在第二条分支，特征f经过最大池化后得到表观初始特征表观初始特征经过1×1的卷积并重塑得到二维向量M2，M2进行特征自相关操作得到特殊性响应图S2；M1和M2的维度为C×H′W′；对M1和M2分别进行特征互相关操作得到相关性响应图R；通过可学习参数α，在第一条分支将S1和R进行融合得到增强特征响应图W1，与特征f进行矩阵相乘后，再与特征f进行融合，输出增强检测特征AF1到目标检测分支；同理，通过可学习参数α在第二条分支将S2和R进行融合得到增强特征响应图W2，与特征f进行矩阵相乘后，再与特征f进行融合，输出增强表观特征AF2到表观学习分支；所述目标检测分支的输入为增强检测特征AF1，该分支包含三个平行的输出头，分别用来估算热图、目标中心偏移和目标边界框尺寸；每个头都由一个具有256通道的3×3的卷积外加一个1×1的卷积构成，其中第一个头的输出维度为1×W×H，代表目标响应热图；第二、三个头的输出维度为2×W×H，分别代表目标中心点的偏移量与目标边界框的宽和高；所述自适应运动预测模块为基于注意力机制的运动预测模块，包括特征编码、历史轨迹池、时序交互模型、时空交互模型和位置解码；将目标检测分支的输出进行计算得到即由目标的中心点坐标与宽高拼接得到，将其与来自历史轨迹池的向量进行拼接，经过多层感知机进行目标轨迹特征编码并输入自适应运动预测模型中；将编码后的目标特征输入时序交互模块，通过引入可学习向量LMV，在不同目标的轨迹特征嵌入之间进行自注意力操作，得到具有时序性的增强运动轨迹池TP``；将经过时序交互模块后的可学习向量进行拼接得到轨迹时序向量TTV，输入时空交互模块进行自注意力操作，得到具有交互性的增强运动轨迹嵌入E；通过回归解码进行运动预测，将增强运动轨迹嵌入E输入全连接层进行运动预测，得到目标在下一帧的位置偏移量P；所述表观学习分支的输入为增强表观特征AF2，使用卷积层提取每个目标的重识别特征RExy，输出为维度是128×W×H的特征向量，通过一个全连接层和一个Softmax操作将其映射为一个类别分布向量；所述数据关联模块的输入为自适应运动预测模块的输出和表观学习分支的输出，根据目标检测结果的可靠性，引入可学习参数对目标位置的IoU距离和表观相似度进行加权计算，模块输出为当前帧跟踪结果，同时将当前帧跟踪结果存入历史轨迹池中；S3、利用训练数据对构建的多目标跟踪模型进行训练得到训练好的多目标跟踪模型；S4、将跟踪视频中的当前帧图像输入到训练好的多目标跟踪模型进行多目标跟踪。

全文数据：

权利要求：

百度查询： 电子科技大学(深圳)高等研究院 一种基于自适应运动预测与表观学习的多目标跟踪方法