买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南昌工程学院

摘要：本发明提出一种基于双softmax注意力的单流单阶段目标跟踪方法与系统，该方法基于ViT模型，将ViT模型中的编码器替换为基于双softmax注意力的编码器，得到目标跟踪模型，并将模板和搜索区域的图像输入目标跟踪模型，通过双softmax注意力的编码器，对模板图像及搜索区域图像进行统一特征学习，以在模板和搜索区域之间建立自由信息流，得到具有目标导向性的特征信息；并将结果送入预测头分别进行分类和回归操作，以获取目标跟踪结果。本发明融合了线性注意力机制和softmax注意力机制的特性，同时具有较低的计算复杂度和较高的模型表达能力，使跟踪器在降低计算成本的同时实现良好的跟踪性能。

主权项：1.一种基于双softmax注意力的单流单阶段目标跟踪方法，其特征在于，所述方法包括如下步骤：步骤1、基于ViT模型，将ViT模型中的编码器替换为基于双softmax注意力的编码器，得到目标跟踪模型，并将模板和搜索区域的图像输入目标跟踪模型；步骤2、对模板和搜索区域的图像进行预处理，并输入基于双softmax注意力的编码器；步骤3、基于双softmax注意力的编码器在每个注意力头采用两个softmax注意力对输入的特征进行注意力计算，进而对模板图像及搜索区域图像进行统一特征学习，以在模板和搜索区域之间建立自由信息流，实现模板和搜索区域之间的相互指导，得到具有目标导向性的特征信息；步骤4、采用迭代的方式重复步骤3若干次，以动态的对模板和搜索区域特征进行关系建模，得到具有目标导向性的特征；步骤5、将具有目标导向性的特征送入预测头分别进行分类和回归操作，得到待跟踪目标的中心位置、边界框大小及位置偏差，并根据偏差来调整中心位置，再根据边界框尺寸大小确定最终的跟踪框，得到目标跟踪结果；步骤6、利用大规模数据集重复步骤2至步骤4以对目标跟踪模型进行预训练，得到预训练的目标跟踪模型，利用预训练的目标跟踪模型进行目标跟踪，以获取准确的目标跟踪结果；在所述步骤3中，基于双softmax注意力的编码器在每个注意力头采用两个softmax注意力对输入的特征进行注意力计算的方法具体包括如下步骤：首先对原始输入特征进行一个层归一化，以稳定每层的输入分布，加快模型的收敛速度，对应的过程存在如下关系式： ； ；其中，表示原始输入特征，表示原始输入特征的均值，表示原始输入特征的标准差，和分别表示可学习的参数，用于缩放和平移归一化后的输出，表示层归一化操作，表示归一化输出；将归一化输出送入双softmax注意力模块，以进行关系建模，获取具有长期依赖关系的特征，得到注意力输出；将注意力输出进行层归一化操作，再送入一个多层感知机，以捕捉原始输入特征之间的复杂关系，增强模型的表达能力，再将多层感知机的输出与注意力输出进行残差连接，来缓解梯度消失问题，得到双softmax注意力的编码器的输出特征，对应的过程存在如下关系式： ；其中，表示多层感知机，表示注意力输出，表示编码器输出；将归一化输出送入双softmax注意力模块，以进行关系建模，获取具有长期依赖关系的特征，得到注意力输出的方法具体包括如下步骤：对归一化输出进行线性投影得到计算注意力所需的查询向量，键向量，值向量，对应的过程存在如下关系式： ； ； ；其中，分别表示查询向量，键向量与值向量，分别表示用于得到的线性投影矩阵；对查询向量进行自适应平均池化，得到代理令牌，再进行双softmax注意力计算，获取中间特征，对应的过程存在如下关系式： ； ；其中，表示代理令牌，表示中间特征，表示多头双softmax注意力计算，表示自适应平均池化；为保留更多的原始低级特征信息，使用残差连接将注意力计算得到的中间特征与原始输入特征相加，得到注意力输出，对应的过程存在如下关系式： ；多头双softmax注意力计算的过程具体包括如下步骤：将代理令牌作为查询，与键向量和值向量进行softmax注意力计算，从所有值中聚合代理特征；将代理特征作为第二个softmax注意力中的值矩阵，将代理令牌作为键矩阵，在查询向量，代理令牌，代理特征之间进行第二次softmax注意力的计算，得到最终输出，得到单个注意力头的输出，再将多个注意力头输出拼接，得到中间特征，对应的过程存在如下关系式： ； ； ；其中，表示转置操作，分别表示第i个注意力头中的查询向量，代理令牌，键向量和值向量，表示softmax激活函数，表示第i个注意力头的输出，表示双softmax注意力计算。

全文数据：

权利要求：

百度查询： 南昌工程学院 基于双softmax注意力的单流单阶段目标跟踪方法与系统