买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明公开了一种注意力机制引导匹配关联的高光谱和RGB视频融合跟踪方法。本方法基于融合跟踪模型，它包括高光谱模态分支、RGB模态分支、融合模块、高光谱预测模块和RGB预测模块等。其中，融合模块基于Transformer，将高光谱模态特定表征和RGB模态特定表征进行融合得到多模态融合表征。本发明通过更新高光谱搜索区域和RGB搜索区域，得到同一目标在空间不匹配的多模态数据中的模态特定表征，缓解了两种模态空间差异导致的多模态信息跟踪困难的问题；同时，利用Transformer中的注意力机制自适应地捕捉两种模态信息之间的关系，实现两种模态信息的自适应聚合，提高了跟踪性能。

主权项：1.一种注意力机制引导匹配关联的高光谱和RGB视频融合跟踪方法，其特征在于步骤包括：步骤1、建立融合跟踪模型，所述融合跟踪模型包括高光谱模态分支、RGB模态分支、融合模块、划分模块、高光谱预测模块和RGB预测模块；所述高光谱模态分支用于根据高光谱图像获取高光谱模态特定表征，RGB模态分支用于根据RGB图像获取RGB模态特定表征；所述融合模块基于Transformer，用于将高光谱模态特定表征和RGB模态特定表征进行融合得到多模态融合表征；所述融合模块的处理过程为：将高光谱模态特定表征REa和RGB模态特定表征REb分别在空间维度的方向上解构为语义单元、然后进行拼接并对拼接结果进行融合得到多模态融合表征Rab；所述划分模块用于将多模态融合表征为高光谱子表征和RGB子表征，所述划分模块的处理过程为：将融合模块输出的多模态融合表征Rab划分为两部分：对应高光谱模态特定表征REa得到高光谱子表征Raba，对应RGB模态特定表征REb得到RGB子表征Rabb；所述高光谱预测模块用于根据高光谱子表征得到高光谱目标结果即当前输入的高光谱图像中的目标位置，所述RGB预测模块用于根据RGB子表征得到RGB目标结果即当前输入的RGB图像中的目标位置；步骤2、获取高光谱模态视频数据a以及高光谱模态视频数据a中第1帧高光谱图像中的目标位置Pa1，并基于目标位置Pa1得到第1帧高光谱图像中的高光谱模板补丁a′1以及第2帧高光谱图像中的高光谱搜索区域a2；将高光谱模板补丁a′1作为高光谱模态分支的第一输入，将高光谱搜索区域a2作为高光谱模态分支的第二输入；同时，获取RGB模态视频数据b以及RGB模态视频数据b中第1帧RGB图像中的目标位置Pb1，并基于目标位置Pb1得到第1帧RGB图像中RGB模板补丁b′1以及第2帧RGB图像中的RGB搜索区域b2；将RGB模板补丁b′1作为RGB模态分支的第一输入，将RGB搜索区域b2作为RGB模态分支的第二输入；步骤3、设定计数值i＝2；步骤4、将当前的高光谱模态分支的第一输入和第二输入共同输入到高光谱模态分支中，将当前的RGB模态分支的第一输入和第二输入共同输入到RGB模态分支中，得到融合跟踪模型输出的第i帧高光谱图像中的目标位置Pai和第i帧RGB图像中的目标位置Pbi；步骤5、令i＝i+1：如果i大于高光谱模态视频数据a的总帧数或i大于RGB模态视频数据b的总帧数，则执行步骤8；否则，获取下一帧即第i帧的高光谱图像和第i帧的RGB图像，然后执行步骤6；步骤6、对于第i帧高光谱图像，基于第i-1帧的高光谱图像中的目标位置Pai-1得到第i帧高光谱图像的搜索区域ai，然后将高光谱模板补丁a′1作为高光谱模态分支的第一输入，将第i帧高光谱图像的搜索区域ai作为当前的高光谱模态分支的第二输入；对于第i帧RGB图像，基于第i-1帧的RGB图像中的目标位置得到第i帧RGB图像的搜索区域bi，然后将RGB模板补丁b′1作为RGB模态分支的第一输入，将第i帧RGB图像的搜索区域bi作为当前的RGB模态分支的第二输入；步骤7、返回执行步骤4；步骤8、基于每一帧RGB图像对应的目标位置得到跟踪结果；高光谱模态分支包含一个高光谱模板子分支、一个高光谱搜索子分支和一个互相关操作符；高光谱模板子分支和高光谱搜索子分支结构一致、权值共享；所述高光谱模板子分支用于处理高光谱模态分支的第一输入a1，高光谱搜索子分支用于处理高光谱模态分支的第二输入a2，互相关操作符基于高光谱模板子分支的输出Fa1和高光谱搜索子分支的输出Fa2进行卷积操作得到结果表示将Fa1作为卷积核与Fa2进行卷积操作；高光谱模态分支还包含一个特征自增强模块，所述特征自增强模块利用Transformer的多头自注意机制抑制高光谱模态特定表征的冗余噪声、增强高光谱模态特定表征信息，得到增强后的高光谱模态特定表征REa；RGB模态分支包含一个RGB模板子分支、一个RGB搜索子分支和一个互相关操作符；RGB模板子分支和RGB搜索子分支结构一致、权值共享；所述RGB模板子分支用于处理RGB模态分支的第一输入b1，RGB搜索子分支用于处理RGB模态分支的第二输入b2，互相关操作符基于RGB模板子分支的输出Fb1和RGB搜索子分支的输出Fb2进行卷积操作得到结果表示将Fb1作为卷积核与Fb2进行卷积操作；RGB模态分支还包含一个特征自增强模块，所述特征自增强模块利用Transformer的多头自注意机制抑制RGB模态特定表征的冗余噪声、增强RGB模态特定表征信息，得到增强后的RGB模态特定表征REb。

全文数据：

权利要求：

百度查询： 中国人民解放军海军航空大学 注意力机制引导匹配关联的高光谱和RGB视频融合跟踪方法