买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中国矿业大学申请的专利一种基于注意力多模态特征融合的无监督RGB-T目标跟踪方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114494354B 。

龙图腾网通过国家知识产权局官网在2025-07-15发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210138232.8，技术领域涉及：G06T7/246；该发明授权一种基于注意力多模态特征融合的无监督RGB-T目标跟踪方法是由姚睿;李生蘭;周勇;祝汉城;刘兵;赵佳琦;邵志文;杜文亮设计研发完成，并于2022-02-15向国家知识产权局提交的专利申请。

本一种基于注意力多模态特征融合的无监督RGB-T目标跟踪方法在说明书摘要公布了：本发明公开了一种基于注意力多模态特征融合的无监督RGB‑T目标跟踪方法，先采用分层卷积神经网络来提取RGB图像和热红外图像的特征；再使用特征融合模块将来自不同水平及不同模态的特征进行同步融合；再对融合得到的特征进行两次前向跟踪得到响应图；接着，将融合特征逆序，原先的模板图作为搜索图，搜索图作为模板图，生成的响应图作为伪标签进行反向跟踪得到最终的响应图；然后，最小化反向跟踪得到的响应图与原始标签之间的一致性损失进行无监督训练；最后，将测试视频帧输入训练好的网络进行前向跟踪得到响应图即为预测的目标位置。本发明方法可以充分利用多层次、多模态信息并能发挥无监督学习的优势。

本发明授权一种基于注意力多模态特征融合的无监督RGB-T目标跟踪方法在权利要求书中公布了：1.一种基于注意力多模态特征融合的无监督RGB-T目标跟踪方法，其特征在于：包括如下步骤： 1将裁减为125×125大小的三个视频帧的RGB图像及其对应的热红外图像输入到两层卷积网络进行特征提取，得到各图像的第一水平特征和第二水平特征； 所述三个视频帧的RGB图像表示为对应的热红外图像表示为 将作为模板帧，将和作为搜索帧；所述两层卷积网络的第一层为一个输出通道数为3、卷积核大小为3×3的滤波器，通过第一层获得图像的第一水平特征，的第一水平特征表示为 两层卷积网络的第二层为一个输出通道数为32、卷积核大小为3×3的滤波器，通过第二层获得图像的第二水平特征，的第二水平特征表示为 2利用特征融合模块同时融合跨模态和跨水平的特征，得到融合后的模板特征T及两个搜索帧特征S2和S3； 所述特征融合模块由三个迭代的AFFa,b函数组成，融合过程如下： 其中：M·表示使用多规模通道注意力模块对·进行处理；表示逐像素加法，表示逐像素乘法； 3利用目标模板滤波器对模板特征T及两个搜索帧特征S2和S3进行前向跟踪获取前向跟踪响应图目标模板滤波器表示为： 其中：X表示目标模板滤波器的输入，WX表示针对输入X的输出，Y表示X的滤波标签，λ表示正则化参数；F·表示对·进行离散傅里叶变换，F-1·表示对·进行离散傅里叶逆变换，F*·是F的共轭复数； 利用目标模板滤波器对模板特征T及两个搜索帧特征S2和S3进行前向跟踪，包括如下步骤： 31将模板特征T的真实标签Q作为模板特征T的滤波标签，将模板特征T输入到目标模板滤波器得到WT； 32计算搜索特征S2的响应为： 其中：为模板特征T与搜索特征S2生成的响应图； 33将作为搜索特征S2的滤波标签，将搜索特征S2输入到目标模板滤波器得到 34计算搜索特征S3的响应为： 其中：为前向跟踪响应图； 4互换模板特征T和搜索帧特征S3，将前向跟踪响应图作为伪标签监督进行反向跟踪获得最终响应图R； 5计算最终响应图R与模板特征T的真实标签Q之间的一致性损失进行无监督训练，得到训练好的无监督RGB-T目标跟踪网络； 6将视频帧输入到训练好的无监督RGB-T目标跟踪网络进行前向跟踪得到前向跟踪响应图，得到的前向跟踪响应图即为目标的跟踪结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国矿业大学，其通讯地址为：221116 江苏省徐州市泉山区大学路1号中国矿业大学科研院；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。