买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明提供了一种基于语义对齐和提示学习的空地跨平台目标重识别方法，通过利用视觉语言基础大模型解决空地跨平台视觉特征不对齐问题，该模型包含视觉编码器和文本编码器两分支以及可学习行人描述和平台提示模块；其中视觉编码器基于视觉自注意力编码器VisionTransformer构建，提取图像全局信息；文本编码器基于自注意力编码器Transformer构建，编码文本信息；引入平台提示向量，以此训练图像编码器关注空地跨平台图像行人不变特征，实现空地跨平台特征对齐。本发明有效解决跨平台视频行人重识别任务中跨平台视觉特征不对齐的挑战，有效弥补跨平台视觉图像特征不对齐问题。

主权项：1.一种基于语义对齐和提示学习的空地跨平台目标重识别方法，其特征在于包括下述步骤：步骤1：数据集准备；利用监控摄像头和无人机收集一个大规模空地跨平台行人重识别数据集，并命名为G2A-VReID，使数据集G2A-VReID数据集包含多个场景，视频采集于图书馆、十字路口、公交车站、学校、地铁口和广场6个不同地点；地面监控摄像机用于拍摄地面视角的视频，无人机用于采集天空视角的视频，监控摄像机固定在距离地面两米的高度，无人机在20至60米的不同高度飞行，无人机以悬停、巡航和旋转的方式飞行，使捕捉到的人物包含不同俯视角度的视角；然后，对收集的原始视频数据进行标注，在标注过程中，视频中出现的所有人物都被标注上矩形边界框，每个人都根据边界框从场景图像中裁剪出来；最后，进行人工标注，对无人机和监控视频中的同一行人进行关联，并为每个不同身份的行人分配唯一的ID号；接下来，将来源于同一条视频轨迹中属于同一ID的行人的所有图像合并为一个视频轨迹,每个行人至少有两条轨迹，一条来自监控摄像机，另一条来自无人机；步骤2：构建语义对齐网络模型；步骤3：建立损失函数；所述损失函数包括第一训练阶段损失函数和第二训练阶段损失函数，第一训练阶段损失函数包括图像文本对比损失，第二训练阶段损失函数包括三元组损失、交叉熵损失和图像文本交叉熵损失；步骤4：采用损失函数和训练集对网络模型进行第一阶段训练，学习行人的语义描述，采用损失函数和训练对语义对齐网络模型进行第二阶段训练；在第二阶段训练过程中，只调整语义对齐网络模型视觉编码器中所有参数；在每个epoch训练结束后，采用平均精确率mAP和第一匹配正确率Rank-1评价指标在数据集测试集验证模型性能，并记录mAP+Rank-1数值，保存在整个训练过程中mAP+Rank-1数值最大时的模型权重，作为训后的参数，模型训练周期结束后，使用测试集进行测试，以验证模型的性能。

全文数据：

权利要求：

百度查询： 西北工业大学 基于语义对齐和提示学习的空地跨平台目标重识别方法