买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京科技大学

摘要：本发明提供一种扩散模型赋予跟踪提议传播的多目标跟踪方法，应用于目标识别技术领域，包括:将所述连续的图像集或视频的每帧图像依次输入预训练的多目标跟踪模型，识别每一帧的跟踪目标，并获取所述跟踪目标对应的边界框，得到跟踪目标对应的轨迹。本发明能够显著提升了目标跟踪的检测和关联能力，保证在复杂场景中的跟踪能力。

主权项：1.一种扩散模型赋予跟踪提议传播的多目标跟踪方法，其特征在于，包括：S1：获取连续的图像集或视频；S2：将所述连续的图像集或视频的每帧图像依次输入预训练的多目标跟踪模型，所述多目标跟踪模型包含去噪扩散模块、骨干网络、ProDiffuse编码器和ProDiffuse解码器，所述骨干网络是ResNet-50网络模型，所述ProDiffuse编码器是基于transformer的编码器，所述ProDiffuse解码器是基于transformer的解码器；S3：利用所述骨干网络和ProDiffuse编码器，对每帧图像，进行图像特征提取，得到图像特征；S4：利用所述去噪扩散模块，对每帧图像，依次通过随机提议序列生成机制传递，产生提议查询，得到提议查询的结果，所述提议查询包括随机提议查询、已跟踪目标提议查询和已跟踪目标实例查询；包括：S41：利用所述去噪扩散模块，从第一帧开始，进行随机提议查询，得到随机提议查询的结果，所述随机提议查询是基于高斯过程生成提议序列；包括：S411：建立一个扩散前向过程，从第一帧开始，提取跟踪目标对应的边界框，并进行填充，得到填充后的边界框；S412：基于高斯分布生成的额外边界框；S413：将填充后的边界框与所述的额外边界框连接起来，得到全部边界框；S414：对所述全部边界框添加高斯噪声，得到噪声边界框，所述高斯噪声的规模由函数控制，是在不同的时间步骤中遵循单调递减的余弦调度；S42：利用所述去噪扩散模块，从第二帧开始，进行已跟踪目标提议查询，得到已跟踪目标提议查询的结果，所述已跟踪目标提议查询包含由前一帧的已跟踪目标提议查询得到的位置参考，所述位置参考为跟踪目标对应的轨迹；S43：从第二帧开始，基于随机提议查询的结果和已跟踪目标提议查询的结果，进行已跟踪目标实例查询，得到已跟踪目标实例查询的结果，所述已跟踪目标实例查询的结果包含实例信息，所述实例信息为跟踪目标对应的边界框；包括：S431：通过ProDiffuse编码器对随机提议查询的结果进行位置编码，得到编码后的随机提议查询的结果；S432：通过ProDiffuse解码器对编码后的随机提议查询的结果进行更新，并与图像特征进行交互，生成轨迹提议，进行已跟踪目标提议查询，得到已跟踪目标的轨迹；S433：根据前一帧的已跟踪目标的轨迹来初始化当前帧的轨迹提议，对轨迹的持续跟踪和调整，再基于图像特征，进行已跟踪目标实例查询；S5：对每帧图像，将所述提议查询的结果和所述图像特征输入ProDiffuse解码器，识别每一帧的跟踪目标，并获取所述跟踪目标对应的边界框，所述提议查询的结果在第一帧包含随机提议查询的结果，从第二帧开始包含已跟踪目标实例查询的结果；S6：对所述提议查询的结果进行后处理，得到跟踪目标对应的轨迹。

全文数据：

权利要求：

百度查询： 北京科技大学 一种扩散模型赋予跟踪提议传播的多目标跟踪方法