买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明公开了一种双教师类脑蒸馏持续学习图像分类方法，将视觉语言预训练模型定义为E0，并根据E0对图像数据构建初始视觉原型；将E0作为第一教师模型；由E0构建学生模型并加载预训练模型权重参数；对学生模型进行第m个任务的训练，训练后的学生模型记为Em；对学生模型进行第m+1个任务训练时，Em作为第二教师模型，学生模型从Em加载权重进行训练；使视觉原型在训练过程中随着批次数据进行滑动更新；根据Em计算分类损失Lce和实例原型对齐损失Lcon，根据Em‑1和E0计算实例原型相似度蒸馏损失，将其平均值并作为最终蒸馏损失Ldis；将Lce、Lcon、Ldis进行加权组合得到优化目标；本发明采用双教师蒸馏来同时缓解灾难性遗忘和零样本迁移能力的遗忘。

主权项：1.一种双教师类脑蒸馏持续学习图像分类方法，其特征在于，该方法包括如下步骤：步骤1，编制训练用图像样本集；将图像样本集按照任务类别分割为多个任务图像样本集，每个任务图像样本集分成训练数据集和测试数据集；每个任务的训练数据集包括多个类别图像样本集；每个类别图像样本集包括多张带有标签的图像样本以及对应的标签和类别语义信息；步骤2，构建视觉语言预训练模型，用于从图像数据中得到初始视觉原型；视觉语言预训练模型包括视觉编码器和文本编码器；视觉编码器用于处理图像数据，将图像编码成向量数据；文本编码器用于处理文本数据，将文本编码成向量数据；利用视觉语言预训练模型对各任务中的训练数据集中所有图像样本提取特征；通过计算同一任务中同一类别图像样本的特征平均值，得到每个类别的初始视觉原型；步骤3，将视觉语言预训练模型定义为E0；将E0作为第一教师模型；构建学生模型，使学生模型的结构与视觉语言预训练模型相同，并加载视觉语言预训练模型权重参数；步骤4，对学生模型进行第m个任务的训练，m＝1、2、…、T，T为任务个数，训练后的学生模型记为Em；对学生模型进行第m+1个任务训练时，Em作为第二教师模型，学生模型从Em加载权重进行训练；使视觉原型在训练过程中随着批次数据进行滑动更新；步骤5，根据Em计算分类损失Lce和实例原型对齐损失Lcon，根据Em-1和E0计算实例原型相似度蒸馏损失，将其平均值并作为最终蒸馏损失Ldis；将分类损失Lce、实例原型对齐损失Lcon、最终蒸馏损失Ldis进行加权组合得到优化目标；步骤6，重复步骤4至步骤5，直至所有训练任务的优化目标均达到设定值，训练结束；步骤7，采用完成训练的模型对待分类图像进行分类。

全文数据：

权利要求：

百度查询： 天津大学 上海人工智能创新中心 双教师类脑蒸馏持续学习图像分类方法、设备及存储介质