买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：郑州大学

摘要：本发明公开了一种新型的多模态融合的行人重识别方法，包括，获取含有RGB、NI和TI的三种模态的行人图像；将所述三种模态的行人图像输入预先训练的多模态融合行人重识别网络中，得到预测分类结果；基于多模态融合的行人重识别方法融合了三种模态的图像特征信息，其中每种模态的网络都引入了注意力模块，更好的提取图像特征信息，然后使不同的模态向着一个共同的方向学习，有效的抑制噪声，减小模态间差异，实现模态间信息的互补。通过跨模态的难样本三元组损失，使不同行人的样本能够跨模态的被拉开，相同行人的样本能够跨模态被拉近，有效的实现跨模态的特征聚类。该方法在行人重识别领域具有广阔的应用前景。

主权项：1.一种新型的多模态融合的行人重识别方法，其特征在于：获取含有RGB、NI和TI的三种模态的行人图像；将所述三种模态的行人图像输入预先训练的多模态行人重识别网络中，得到预测分类结果；其中所述多模态行人重识别网络被配置为：包括三个分支来分别捕获每个模态中人物图像的特征，得到分别代表RGB，NI和TI模态的图像特征，将RGB，NI和TI模态的图像特征水平切分为p块，再经过全局平均池化GAP后得到p个部分列向量特征和即各模态的embedding层特征；然后将三个模态的各p个部分列向量特征和分别输入到由全连接层FC和softmax函数构成的分类器中，从而得到各模态输入行人图像的身份预测值向量先将各模态的p个预测值向量特征连接起来，生成各模态下的特征向量和然后再将这三个特征向量连接起来，得到融合特征向量X1×3Kp,再将该特征通过一个分类层得到预测分类结果所述的多模态行人重识别网络的训练过程为：S1、网络层权值进行初始化，一般采用随机初始化；S2、单模态特征提取：对于每张行人图像，分别提取RGB、近红外NI和热红外TI三种模态的特征；将提取的RGB、近红外NI和热红外TI三种模态的特征分别输入包含SCA注意力模块的ResNet50卷积神经网络中的卷积层、归一化层、平均池化层等各层的前向传播，分别得到分别代表RGB,NI和TI模态的图像特征和S3、单模态图像特征处理：首先，对于每个模态，为了获取人物图像的局部信息，我们采用局部方案将每个张量水平切分为p块，再经过全局平均池化GAP后得到p个部分列向量和即各模态的embedding层特征；然后将每个模态的各部分特征向量gi分别输入到由全连接FC层和softmax函数构成的分类器中，从而得到各模态输入行人图像的身份预测值向量然后计算各模态行人ID预测向量与真实标签的差值，利用p个分类层交叉熵的总和作为单模态的损失函数来优化网络；S4、设置一个虚拟分支使三种模态图像的embedding层特征进行联合学习，实现各模态间的信息融合，使三个不同模态的特征都向着一个共同的虚拟均值向量学习，并当单模态交叉熵分类损失足够小时，退出虚拟分支；然后计算各模态embedding层特征与虚拟均值的差值，使用余弦距离作为损失函数来优化网络；S5、将S3中得到的各模态行人ID预测向量特征经过连接操作和分类层的前向传播得到多模态融合特征输出值，即预测分类结果所述分类层由全连接层和softmax分类器构成；S6、求出多模态融合特征输出值与目标值之间的KL散度损失和跨模态的难样本三元组损失；S7、求出最终的多模态融合全局损失：将单模态特征处理产生的交叉熵损失函数、多模态融合虚拟分支产生的欧式距离损失函数以及多模态融合特征处理涉及的KL散度损失函数和跨模态的难样本三元组损失函数相加，作为最终的多模态全局损失参与网络的训练；S8、将多模态融合全局损失反向传回网络中，依次求得网络各层：分类层classifier、全连接层FC、池化层GAP和和带有注意力的resnet50结构各层的反向传播误差；S9、网络各层根据各层的反向传播误差对网络中的所有权重系数进行调整，即进行权重的更新；S10、重新随机选取新的图像数据，然后进入到S2，进行网络前向传播得到输出值；S11、往复迭代，当求出网络的输出值与目标值之间的误差小于某个阈值，或者迭代次数超过某个阈值时，结束训练；S12、保存训练好的所有层的网络参数。

全文数据：

权利要求：

百度查询： 郑州大学 一种新型的多模态融合的行人重识别方法