买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：浙江大学;上海浙江大学高等研究院;上海人工智能创新中心

摘要：本发明公开了一种基于端云协同的多模态融合的行人重识别方法与系统，该方法首先利用不确定性引导采样模块筛选出需要上传到云侧的行人图像。然后，采用多模态行人重识别网络，计算脸部和步态特征的加权平均值并生成自适应融合特征，通过全连接层和softmax函数进行特征分类。此外，本发明方法在云端优化视觉提示，实现了云侧基于提示学习的知识迁移。通过联合优化教师模型和学生模型，改善端侧学生模型的性能。最后，将云侧学习到的视觉提示传递到端侧，并应用于人脸图像和步态图像，以提高行人重识别的准确率。本发明有效地提升了跨外观行人重识别模型的检索性能，同时解决了网络在不同环境下的泛化问题。

主权项：1.一种基于端云协同的多模态融合的行人重识别方法，其特征在于，包括以下步骤：S1、在端侧将行人图像输入到端侧的不确定性引导采样模块，输出是否需要将行人图像上传至云侧进行处理的判断结果，端侧提取行人图像的人脸图像和步态图像后，若判断结果为需要将行人图像上传至云侧，则将人脸图像和步态图像上传至云侧处理，若判断结果为不需要将行人图像上传至云侧，则使用端侧训练好的多模态行人重识别网络对人脸图像和步态图像进行处理；S2、在端侧将人脸图像和步态图像输入至端侧的多模态行人重识别网络，在端侧的多模态行人重识别网络中，先由特征提取网络提取人脸图像的人脸特征和步态图像的步态特征，将人脸特征和步态特征输入到预训练的上下文自适应性多模态融合模块，得到上下文感知的自适应融合特征，将自适应融合特征依次经过一个全连接层和softmax函数对自适应融合特征进行分类，得到端侧行人图像的分类结果；S3、云侧获取到端侧输出的人脸图像和步态图像，并在云侧联合训练优化经过预训练的学生模型和经过预训练的教师模型；在联合训练优化过程的每个迭代轮次中，将上一个迭代轮次更新后的人脸提示矩阵和人脸图像相加后，得到新的人脸图像，将上一个迭代轮次更新后的步态提示矩阵和步态图像相加后，得到新的步态图像，将新的人脸图像和新的步态图像共同作为上一个迭代轮次更新后的教师模型输入，更新教师模型、人脸提示矩阵以及步态提示矩阵的参数后，将经过更新的教师模型输出的伪标签作为学生模型的真实标签，将新的人脸图像和新的步态图像以及学生模型的真实标签输入到学生模型中进行训练，固定教师模型、人脸提示矩阵以及步态提示矩阵的参数，单独更新学生模型参数，且教师模型和学生模型各自采用一个损失进行参数更新；S4、当教师模型和学生模型训练完毕后，云侧将训练好的学生模型参数、以及人脸提示矩阵参数和步态提示矩阵参数发送至端侧，由端侧使用训练好的学生模型对S1得到的人脸图像和步态图像进行处理，在端侧将S1得到的人脸图像和训练好的人脸提示矩阵相加后，得到待分类人脸图像，将S1得到的步态图像和训练好的步态提示矩阵相加后，得到待分类步态图像，将待分类人脸图像和待分类步态图像共同输入到训练好的学生模型中，得到端侧行人图像的分类结果。

全文数据：

权利要求：

百度查询： 浙江大学 上海浙江大学高等研究院 上海人工智能创新中心 一种基于端云协同的多模态融合的行人重识别方法与系统