买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京邮电大学

摘要：本发明公开了一种基于全局与局部特征的对抗学习跨模态行人重识别方法，包括：将选定的可见光图像样本集Xv和红外图像样本集Xt作为训练数据；将可见光图像样本和红外图像样本输入所构建的具有注意力机制的特征提取网络获取特征；将从具有注意力机制的特征提取网络获得的可见光特征fiv、红外特征fit输入局部特征学习模块进行操作；将从具有注意力机制的特征提取网络获得的可见光特征fiv、红外特征fit输入预测一致性模块进行操作；将可见光拼接特征fiv′和红外拼接特征fit′输入对抗学习模块进行处理。本发明可有效减小可见光和红外特征的模态差异，大大提高了跨模态行人重识别的检索率。

主权项：1.一种基于全局与局部特征的对抗学习模态行人重识别方法，其特征在于，包括以下步骤：S1.将选定的可见光图像样本集Xv和红外图像样本集Xt作为训练数据；其中，可见光图像样本集为红外图像的样本集为每个样本集包含M个行人，标签集为Y＝{yi|i＝1,2,…,N}，N代表可见光图像或红外图像的数量；S2.在卷积神经网络的基础上，加入注意力机制模块，构建具有注意力机制的特征提取网络；将可见光图像样本和红外图像样本输入具有注意力机制的特征提取网络获取特征；所述的具有注意力机制的特征提取网络，包括模态特定子模块和模态共享子模块模态特定子模块包含可见光子模块和红外子模块模态共享子模块包含3个卷积块；S3.将从具有注意力机制的特征提取网络获得的可见光特征fiv，红外特征fit输入局部特征学习模块进行操作，得到可见光局部特征fivp和红外局部特征fitp、可见光局部降维特征fivp′和红外局部降维特征fitp′、可见光局部标签特征fivp″和红外局部标签特征fitp″、可见光拼接特征fiv′和红外拼接特征fit′；S4.将从具有注意力机制的特征提取网络获得的可见光特征fiv、红外特征fit输入预测一致性模块进行操作，得到可见光全局特征fivg和红外全局特征fitg、可见光全局标签特征fivg′和红外全局标签特征fitg′；S5.将可见光拼接特征fiv′和红外拼接特征fit′输入对抗学习模块进行处理；所述步骤S4具体包括：S4.1.将从具有注意力机制的特征提取网络得到的可见光特征fiv通过平均池化转换为可见光全局特征fivg，然后将可见光全局特征fivg通过由三层全连接神经网络和分类器构成的全局特征身份预测模块，得到第三层全连接层输出的可见光全局标签特征fivg′、以及分类器输出的身份类别概率为第i个可见光全局特征的身份类别概率；对红外特征fit进行与可见光特征fiv相同的操作得到红外全局特征fitg和红外全局标签特征fitg′；其中，如下： 式中，表示可见光全局标签特征fivg′生成的概率分布，exp指以自然常数e为底的指数函数，为全局特征身份预测模块中身份标签为yi的行人的分类器参数，为全局特征身份预测模块中第m个行人的分类器参数；同理可得到局部特征挖掘模块中第i张可见光图像和红外图像对应的身份类别概率分别为使用KL散度损失LKL来减少两个预测分布之间的距离： 式中，测量分布和分布之间的相互关系散度；S4.2.对可见光全局特征fivg以及红外全局特征fitg采用基于异质中心的三元组损失以提高全局特征的鉴别性，其损失为： 式中，为第m个行人的可见光全局特征的中心，为第m个行人的红外全局特征的中心；和分别基于可见光全局特征fivg和红外全局特征fitg得到；共有M个可见光特征中心和M个红外特征中心基于可见光全局标签特征fivg′和红外全局标签特征fitg′的分类损失为： 式中，pgfivg′表示可见光全局标签特征fivg′生成的概率分布，pgfitg′表示红外全局标签特征fitg′生成的概率分布。

全文数据：

权利要求：

百度查询： 南京邮电大学 一种基于全局与局部特征的对抗学习跨模态行人重识别方法