买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:中国人民解放军国防科技大学
摘要:本申请涉及一种基于特征增强融合的RGBT实时目标跟踪方法和装置。所述方法包括:获取从第一帧RGBT图像和当前帧RGBT图像中剪裁的热红外和可见光图像对,并分别作为模板分支图像对和搜索分支图像对;分别提取模板分支图像对和搜索分支图像的可见光和热红外深度特征,基于通道注意力模块实现可见光和热红外图像通道维的特征增强,采用基于AiA模块的自注意力机制实现可见光和热红外图像空间维的全局特征增强,基于Transformer互注意力机制实现模板与搜索分支的特征交互融合实现目标定位,在保证算法实时性的同时提升了跟踪精度。
主权项:1.一种基于特征增强融合的RGBT实时目标跟踪方法,其特征在于,所述方法包括:获取从第一帧RGBT图像和当前帧RGBT图像中剪裁的热红外和可见光图像对,并分别作为模板分支图像对和搜索分支图像对;将所述模板分支图像对和所述搜索分支图像对同时输入到训练好的基于特征增强融合的RGBT实时目标跟踪模型中,得到目标跟踪结果;其中,所述RGBT实时目标跟踪模型包括结构相同的模板分支和搜索分支、特征交互融合模块以及预测头;所述模板分支和所述搜索分支分别用于提取所述模板分支图像对和所述搜索分支图像对的红外和可见光的深度特征,采用通道注意力机制对深度特征在通道维进行特征增强,然后采用基于AiA模块的自注意力机制在空间维度进行特征增强,得到模板分支特征和搜索分支特征;所述特征交互融合模块用于将所述模板分支特征和所述搜索分支特征采用基于Transformer互注意力机制进行特征交互融合;所述预测头用于根据交互融合后的特征进行目标定位,得到目标跟踪结果。
全文数据:
权利要求:
百度查询: 中国人民解放军国防科技大学 基于特征增强融合的RGBT实时目标跟踪方法和装置
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。