买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：芜湖辛巴网络科技有限公司

摘要：本发明公开一种基于模拟增广与原型学习的全时段多模态行人重识别方法，利用光照模拟增广模块与多模态原型学习设计多分支网络，用来提高在各种多变光照场景下多模态行人重识别模型的精度；利用数据增广与原型学习的思想，结合子空间特征约束，对易受光照变化的模态图像进行增广、进行原型与实例特征的交互，从而模型对光照变化的鲁棒性。本发明通过训练一个光照模拟增广模块来生成多种光照条件下的训练数据，并设计多模态原型进行特征学习与交互，并且可以应付可能存在的缺失情况，也能使模型能对同一行人进行稳定的重识别。本发明在全时段多模态行人重识别数据集上取得了较好的效果。

主权项：1.一种基于模拟增广与原型学习的全时段多模态行人重识别方法，其特征在于，包括以下步骤：步骤1、获取同一行人场景的三种模态原始图像，包括可见光图像IR、近红外图像IN和热红外图像IT，三种模态的原始图像大小均为3×256×128；对应的模态原型依次记为PR、PN和PT，三个模态的模态原型大小均为1×768；步骤2、将原始的可见光图像IR通过模拟光照增广模块进行增广，分别得到上午、下午和夜晚三个时段的增广图像IRm、IRa和IRe；步骤3、将三个时段的增广图像IRm、IRa和IRe、原始的近红外图像IN和热红外图像IT送入特征提取器，得到对应特征fRm,fRa,fRe,fN,fT；接着对增广图像的三个特征fRm,fRa,fRe进行平均后得到特征fR；步骤4、同时将特征fR和模型pR送入IMRGB交互模块、特征fN和模态PN送入IMNIR交互模块、以及特征fT和模态PT送入IMTIR交互模块，进而实现三个特征原型实例特征的信息交互，分别得到和步骤5、为保留所有原始图像以及增广图像的特征，将特征和按通道拼接，得到用于分类器训练的最终特征ffinal；分类器包括卷积层、ReLU激活层和全连接层组成；通过分类器将特征降维到固定维度，用于后续损失的计算；步骤6、对特征fRm,fRa,fRe、fR,fN,fT和ffinal进行子空间约束，方法为：对增广的多个可见光特征[fRm,fRa,fRe]使用正交损失Lort进行约束，使其之间的差异尽可能大，这样可以保证增广的多样性；对交互后的不同模态特征[fR,fN,fT]使用一致损失Lclo来进行约束希，使其保持多模态的统一性；对最终特征ffinal使用交叉熵分类损失Lce与三元组损失Ltri进行训练。

全文数据：

权利要求：

百度查询： 芜湖辛巴网络科技有限公司 一种基于模拟增广与原型学习的全时段多模态行人重识别方法