买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中南民族大学申请的专利一种基于Transformer和图嵌入的多目标跟踪方法和系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116681728B 。

龙图腾网通过国家知识产权局官网在2026-04-17发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310686952.2，技术领域涉及：G06T7/246；该发明授权一种基于Transformer和图嵌入的多目标跟踪方法和系统是由项俊;刘登宇;侯建华;江小平设计研发完成，并于2023-06-09向国家知识产权局提交的专利申请。

本一种基于Transformer和图嵌入的多目标跟踪方法和系统在说明书摘要公布了：本发明公开了一种基于Transformer和图嵌入的多目标跟踪方法，包括：获取视频序列，对视频序列逐帧读取，以获取其中的所有帧；设置计数器cnt1＝1；判断cnt1是否已经等于视频序列中的帧总数，如果不是则将视频序列中的第cnt1帧和第cnt1+1帧入到预先训练好的多目标跟踪模型中，以得到第cnt1帧中的目标和第cnt1+1帧中的对应目标间的分配矩阵，其中第cnt帧为前一帧，第cnt+1帧是后一帧；根据得到的第cnt1帧中的目标和第cnt1+1帧中对应目标间的分配矩阵获取第cnt+1帧中与第cnt1帧中的每个目标关联的所有目标，将第cnt帧中的该目标与得到的所有目标一起构成该目标的跟踪轨迹。本发明能够解决现有基于Transformer的多目标跟踪方法采用的全局相关性学习不仅增加计算复杂度，而且存在过度冗余计算的技术问题。

本发明授权一种基于Transformer和图嵌入的多目标跟踪方法和系统在权利要求书中公布了：1.一种基于Transformer和图嵌入的多目标跟踪方法，其特征在于，包括以下步骤： 1获取视频序列，对视频序列逐帧读取，以获取其中的所有帧； 2设置计数器cnt1=1； 3判断cnt1是否已经等于视频序列中的帧总数，如果是则过程结束，否则进入步骤4； 4将视频序列中的第cnt1帧和第cnt1+1帧输入到预先训练好的多目标跟踪模型中，以得到第cnt1帧中的目标和第cnt1+1帧中的对应目标间的分配矩阵，其中第cnt1帧为前一帧，第cnt1+1帧是后一帧；多目标跟踪模型是通过以下步骤训练得到的： 4-1获取MOT17数据集和CrowdHuman图像数据库，将获取的MOT17数据集按照等比划分为前半段和后半段，将得到的MOT17数据集的前半段和整个CrowdHuman图像数据库用作训练集，将得到的MOT17数据集的后半段用作测试集； 4-2设置计数器cnt3=1； 4-3设置计数器cnt2=1，判断cnt3是否等于训练集中视频序列的帧总数，如果是进入步骤4-16，否则进入步骤4-4； 4-4判断cnt2是否等于训练集中第cnt3个视频序列中的帧总数，如果是则转入步骤4-14，否则进入步骤4-5； 4-5初始化个可学习的对象查询分别作为前一帧和后一帧的对象查询，其中； 4-6将训练集中第cnt3个视频序列中的第cnt2帧作为前一帧，将第cnt2+1帧作为后一帧，将前一帧和后一帧分别输入基准深度视觉特征提取网络，以得到与前一帧对应的、维度为2048的基准深度视觉特征，以及后一帧对应的、维度为2048的基准深度视觉特征； 4-7针对步骤4-6获取的训练集中第cnt3个视频序列中的前一帧和后一帧而言，将步骤4-6得到的与前一帧对应的基准深度视觉特征、以及与后一帧对应的基准深度视觉特征作为Transformer编码器的查询、键和值，分别输入到Transformer编码器的多头自注意层，以分别得到维度为256的特征向量，分别将256维的特征向量进行层归一化，以分别得到归一化后的特征向量，并分别将归一化后的特征输入Transformer编码器的前馈神经网络并归一化，以分别得到与前一帧对应的512维全局特征，以及与后一帧对应的512维全局特征； 4-8针对步骤4-6获取的训练集中第cnt3个视频序列中的前一帧而言，将前一帧的对象查询输入到多头自注意层和层归一化层，得到维度为256维的对象查询，将步骤4-7得到的前一帧对应的全局特征作为Transformer解码器的键和值、256维的对象查询作为查询，输入到Transformer解码器的多头互注意力层并归一化，以获取N个前一帧的输出嵌入，将输出嵌入输入前馈神经网络并归一化，以得到512维的特征向量，并将512维的特征向量输入到前馈神经网络中，以得到前一帧的N个跟踪轨迹，每个跟踪轨迹包括框坐标和类标签； 4-9针对步骤4-6获取的训练集中第cnt3个视频序列中的后一帧而言，先将该后一帧的跟踪查询和对象查询级联后输入到多头自注意层和层归一化层，以得到维度为256维的级联查询，将级联查询作为查询、步骤4-7得到的全局特征作为键和值输入到Transformer解码器的多头互注意力层并归一化，得到M个后一帧的输出嵌入，将输出嵌入输入到前馈神经网络并归一化，以得到512维的特征向量，并将512维的特征向量输入到前馈神经网络中，以得到后一帧的M个检测目标，每个检测目标包括框坐标以及类标签； 4-10为步骤4-8得到的N个跟踪轨迹和步骤4-9得到的M个检测目标分别建立图模型； 4-11将步骤4-10得到的前一帧和后一帧图模型，分别输入到图卷积网络中，通过图卷积网络迭代次数的增加，得到前一帧的局部相关性增强特征和后一帧的局部相关性增强特征； 4-12将步骤4-11得到前一帧局部相关性增强特征和后一帧局部相关性增强特征输入到关联网络中，对其进行基于特征间的关联处理，以得到前一帧的跟踪轨迹和后一帧的检测目标之间的分配矩阵； 4-13利用步骤4-8得到的N个框坐标和类标签、以及步骤4-9得到的M个框坐标和类标签对Transformer编码器、Transformer解码器、图卷积网络以及关联网络进行训练，根据Transformer编码器、Transformer解码器和GCN为步骤4-6获取的训练集中的前一帧和后一帧得到前一帧跟踪轨迹的框坐标、类标签以及局部相关性增强特征和后一帧检测目标的框坐标、类标签以及局部相关性增强特征，根据关联网络获取前一帧的跟踪轨迹和后一帧的检测目标之间的分配矩阵，通过得到框坐标、类标签和分配矩阵输入到定义的损失函数中，以得到检测损失、跟踪损失和focal损失; 4-14cnt2=cnt2+1，并返回步骤4-4; 4-15cnt3=cnt3+1，并返回步骤4-3; 4-16根据步骤4-13获取的检测损失、跟踪损失以及focal损失、并利用反向传播方法对多目标跟踪模型进行迭代训练，直到该多目标跟踪模型收敛为止，从而获取初步训练好的多目标跟踪模型； 4-17使用步骤4-1获取的测试集对步骤4-16初步训练好的多目标跟踪模型进行验证，直到获取的跟踪精度达到最优为止，从而获取训练好的多目标跟踪模型； 5根据步骤4得到的第cnt1帧中的目标和第cnt1+1帧中对应目标间的分配矩阵获取第cnt1+1帧中与第cnt1帧中的每个目标关联的所有目标，将第cnt1帧中的该目标与得到的所有目标一起构成该目标的跟踪轨迹； 6设置计数器cnt1=cnt1+1，并返回步骤3。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中南民族大学，其通讯地址为：430074 湖北省武汉市洪山区民族大道708号、823号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。