买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：杭州像素元科技有限公司

摘要：本方案提供了一种基于辅助特征的跨模态行人重识别模型、方法及应用，从现有的跨模态行人重识别数据集中获取标注数据，并将其输入到基于辅助特征的跨模态行人重识别框架进行训练，利用自适应特征提取模块深入挖掘行人的鉴别性特征，为了更好地缓解模态差异，设计了辅助特征引导模块，生成额外的辅助模态特征，协助模态无关特征的学习。在测试阶段，采用训练好的网络提取图像特征，从而实现跨模态图像检索。本申请实现了对鉴别性行人特征的高效提取，能够有效提取图像中的行人特征，提升跨模态行人重识别的准确性。

主权项：1.一种基于辅助特征的跨模态行人重识别模型包括的构建方法，其特征在于，包括以下步骤：步骤S1：获取多组对应且标记同一行人类别的可见光图像和红外光图像组成的图像组作为训练集；步骤S2：将训练集输入到跨模态行人重识别框架中进行训练，直到满足训练条件得到跨模态行人重识别模型；其中跨模态行人重识别框架包括基于ResNet的深度残差网络、红外光特征提取网络、可见光特征提取网络以及全连接层，其中基于ResNet的深度残差网络包括并行的四阶段的RGB流以及IR流，对应RGB流以及IR流的第一阶段和第二阶段的提取网络的参数独立，对应RGB流以及IR流的第三阶段和第四阶段的提取网络的参数彼此共享，且RGB流和IR流的第二阶段的提取网络输出的特征图通过基于高斯引导的自适应模块后输入到对应的第三阶段中，RGB流和IR流的第三阶段的提取网络输出的特征图通过基于高斯引导的自适应模块后输入到对应的第四阶段中；其中红外光特征提取网络和可见光特征提取网络均包括全局特征分支和局部特征分支；将可见光图像输入到基于ResNet的深度残差网络的RGB流中得到可见光特征，将红外光图像输入到基于ResNet的深度残差网络的IR流中得到红外光特征，将红外光特征输入到红外光特征提取网络的全局特征分支和局部特征分支中进行处理分别得到红外光全局特征和红外光局部特征，拼接红外光全局特征和红外光局部特征得到对应于当前行人的红外光行人特征，将可见光特征输入到可见光特征提取网络的全局特征分支和局部特征分支中进行处理分别得到可见光全局特征和可见光局部特征，拼接可见光全局特征和可见光局部特征得到对应于当前行人的可见光行人特征；将可见光行人特征和红外光行人特征输入到全连接层中分类得到重识别结果。

全文数据：

权利要求：

百度查询： 杭州像素元科技有限公司 基于辅助特征的跨模态行人重识别模型、方法及应用