买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京航空航天大学

摘要：本发明公开了一种基于模态转换的跨模态行人再识别方法，涉及计算机视觉技术领域，该方法包括如下步骤：通过多台图像拍摄设备获取目标场景的图像数据集；图像数据集包括可见光图像和红外图像；基于训练好的行人图像模态转换模型，将可见光图像转化为对应的伪红外图像；通过优化后的行人再识别模型，分别提取红外图像和伪红外图像的行人特征并进行匹配，根据匹配结果获得跨模态行人再识别结果。该方法将可见光图像转化为伪红外图像，减弱了模态间的表观差异；基于优化后的行人再识别模型，提升了跨模态行人再识别的准确率。

主权项：1.一种基于模态转换的跨模态行人再识别方法，其特征在于，包括如下步骤：S1、通过多台图像拍摄设备获取目标场景的图像数据集；所述图像数据集包括可见光图像和红外图像；S2、基于训练好的行人图像模态转换模型，将所述可见光图像转化为对应的伪红外图像；S3、通过优化后的行人再识别模型，分别提取所述红外图像和所述伪红外图像的行人特征并进行匹配，根据匹配结果获得跨模态行人再识别结果；所述行人图像模态转换模型的训练步骤包括：P1、对每台所述图像拍摄设备拍摄到的图像进行对应的设备编码；以及对所述图像数据集中每张图像进行语义分割处理，获得每张图像的行人掩码；P2、采用去噪扩散概率模型构建行人图像模态转换模型；P3、将所述设备编码和所述行人掩码嵌入到所述行人图像模态转换模型的自注意力层中，对所述行人图像模态转换模型进行训练；在所述步骤P3中，在训练过程中，分别对所述可见光图像和所述红外图像进行加噪处理，之后采用所述去噪扩散概率模型进行噪声预测，实现对所述去噪扩散概率模型和所述行人图像模态转换模型的联合训练；所述步骤S2具体包括：S21、将一维的高斯噪声与所述可见光图像一同输入至去噪扩散概率模型进行去噪预测；S22、在所述去噪扩散概率模型的推力过程中，将所述设备编码和所述行人掩码加入每个注意力层中；S23、经过预设轮次的迭代，根据最后一次迭代的噪声生成第0步的伪红外图像；所述行人再识别模型的优化步骤包括：步骤一：根据批训练原则进行行人再识别模型输入数据的准备工作，每个批次包含预设数量的行人id，且每个行人id包含n张生成的伪红外图像和n张红外图像；步骤二：构建行人再识别模型并加载开源预训练模型的参数，提取伪红外图像特征和红外图像特征，并根据所述伪红外图像特征和所述红外图像特征生成对应的伪红外图像得分与红外图像得分；步骤三：基于所述伪红外图像得分与所述红外图像得分，构建跨模态对齐约束损失函数；步骤四：根据所述跨模态对齐约束损失函数，对行人再识别模型进行优化训练。

全文数据：

权利要求：

百度查询： 北京航空航天大学 一种基于模态转换的跨模态行人再识别方法