买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：电子科技大学

摘要：本发明属于目标跟踪技术领域，具体来说是涉及一种基于运动模型和外观模型的RGBT目标跟踪方法。本发明方法采用的模型包括外观模型和运动模型；外观模型用于可见光与红外图像融合，提取跟踪目标的外观信息，包括属性驱动残差分支、属性整合网络，跟踪器使用的是RT‑MDNet；运动模型提供被跟踪目标的运动线索，包括运动跟踪器、跟踪器切换器，后者用来动态选择两种跟踪器跟踪结果。本发明利用可见光与红外模态之间的互补特性提高模型的跟踪精度，并且结合属性驱动模块和运动模型，大大提高了跟踪器在面对复杂场景下的鲁棒性。

主权项：1.一种基于运动模型和外观模型的RGBT目标跟踪方法，其特征在于，包括以下步骤：S1、获取可见光图像和红外图像作为第一训练数据集，对第一训练数据集进行属性标记处理获得带有属性标注的第二训练数据集，标记的属性包括形状变化、极端照明、遮挡、运动模糊和热交叉；S2、构建外观模型，包括骨干网络、残差分支块、属性整合网络、RoIPooling模块和全连接层；其中骨干网络用于提取可见光图像和红外图像的特征，骨干网络的输出为可见光图像特征和红外图像特征融合后的融合特征；残差分支块的输入为融合特征，并且残差分支块包括多个并列的残差分支，残差分支的数量与S1中的属性标记对应，分别计算几个属性分支的残差特征；属性整合网络包括通道聚合网络和空间聚合网络，通道聚合网络和空间聚合网络的输入均为残差分支块输出的全部属性分支的残差特征，其中通道聚合网络用于生成各个属性残差特征的通道权重，空间聚合网络用于生成空间权重，最后将通道权重和空间权值融合后再与骨干网络的输出融合，得到外观模型生成的最终特征图；特征图输入到RoIPooling模块，提取特征图的RoI特征；最后将生成的RoI特征图输入到三个全连接层中，其中前两个全连接层作为外观模型的权重共享层，最后一个全连接层有K个分支，K代表域也就是视频序列的数量，每个分支用于针对某个视频序列单独训练，最后得到外观模型对象；S3、构建运动模型，包括运动跟踪器和跟踪切换器，其中运动跟踪器用于预测目标的位置，跟踪切换器用于评估外观跟踪器的可靠性，跟踪切换器的输入为外观模型的目标对象和运动跟踪器输出的运动模型的目标对象，根据设定条件判断选择外观模型或者运动跟踪器进行目标跟踪，并且当选择外观模型进行目标跟踪时，将外观模型的跟踪结果作为实际测量值来更新运动跟踪器；S4、利用训练数据对构建的模型进行训练，具体为：利用第一训练数据集训练骨干网络，之后冻结骨干网络的参数，利用第二训练数据集分别训练对应的残差分支，之后冻结残差分支块的参数后，再利用第一训练数据集训练属性整合网络，训练属性整合网络的过程中将通道聚合网络和空间聚合网络分开训练，即当训练其中一个时冻结另一个的参数，最后得到训练好的外观模型；S5、将待跟踪目标图像同时输入外观模型和运动模型，对目标进行跟踪。

全文数据：

权利要求：

百度查询： 电子科技大学 一种基于运动模型和外观模型的RGBT目标跟踪方法