买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国科学院沈阳自动化研究所

摘要：本发明提供一种基于知识蒸馏的深度融合多跨域少样本分类方法，涉及深度学习技术领域。该方法利用知识蒸馏从多个教师网络进行知识迁移，提升了模型的泛化能力。通过将元学习的训练策略融入知识蒸馏，结合任务导向的知识蒸馏和多个教师网络的协作，从多个方面为学生网络提供知识，增强了学生网络在新的少样本任务的性能。从教师网络的输出预测和样本关系两方面提取监督信息，使用深度融合将多个教师的输出融合，用于指导学生网络的训练，提升知识蒸馏的效率。本发明方法能够有效地将知识从多个源域迁移到目标域，提高学生网络在目标少样本任务上的泛化性和准确率。

主权项：1.一种基于知识蒸馏的深度融合多跨域少样本分类方法，其特征在于：包括以下步骤：步骤1：预训练N个教师网络和一个学生网络Sp；每个教师网络都采用相同的网络结构，包含一个教师特征编码器Et和一个线性分类器Ct，学生网络包含一个特征编码器Es_p和一个基于距离度量的分类器Cs；步骤2：利用预训练的学生网络Sp构建学生网络S；所述学生网络S是一种基于度量的少样本模型，包含一个学生特征编码器Es和一个度量函数d，通过预训练的学生网络特征编码器Es_p初始化学生特征编码器Es；步骤3：元训练阶段，从N个不同源域的训练集中随机选取一个训练集作为当前的元训练集Dtrain，根据元学习的思想，从当前的元训练集中随机采样M个少样本任务，每个任务都包含一个支持集S和一个查询集Q，支持集S中含有W个类别的样本图像数据，每个类别有K个样本；查询集Q中含有W个类别的样本图像；步骤4：将不同的少样本任务同时送到N个教师网络和学生网络S中；步骤5：依次将支持集S中样本图像输入到N个教师特征编码器和学生特征编码器Es中，分别得到相对应的视觉特征；步骤6：在每一个源域中，分别对步骤5中教师网络和学生网络S得到的支持集中属于同一类别的样本图像对应的视觉特征取平均，得到每个类别经过教师特征编码器和学生特征编码器编码后的原型表示；步骤7：依次将查询集Q中的样本图像输入到N个教师特征编码器和学生特征编码器Es中，分别得到相对应的视觉特征；步骤8：对教师网络和学生网络S得到的支持集中每个类别的原型表示和步骤7中查询集中样本图像对应的视觉特征分别进行归一化处理，得到对应的归一化结果；步骤9：通过步骤8中归一化后的教师网络和学生网络中查询样本对应的视觉特征和每一类的原型表示，基于相似度分别计算在教师网络和学生网络中每个查询样本属于每个类别的预测概率矩阵；步骤10：根据查询集Q中样本的真实标签和步骤9中学生网络中查询样本对应的视觉特征和原型表示之间基于相似度的预测概率矩阵，计算学生网络的分类损失，设定学生网络的分类目标函数Lcls；步骤11：根据步骤9中经过N个教师特征编码器和学生特征编码器编码后的原型表示和查询集样本对应的视觉特征计算类别预测概率矩阵，从而在N个教师网络和学生网络之间进行基于软标签的知识蒸馏，得到学生网络的基于软标签的目标函数LKL；步骤12：根据步骤5和步骤7中经过N个教师特征编码器和学生特征编码器编码后的原型表示和查询集样本对应的视觉特征，使学生网络生成的特征图的空间分布与教师网络生成的特征图对齐，将教师网络的特征图作为信息传递的参考，从而在N个教师网络和学生网络之间进行基于注意力的知识蒸馏，得到学生网络基于特征图的目标函数Lattention；步骤13：根据如下学生网络的总目标函数公式，使用SGD算法训练学生特征编码器：L＝λ1×Lcls+λ2×LKL+λ3×Latention其中，L为学生网络的总目标函数，Lcls为学生网络的分类目标函数，LKL为学生网络的基于软标签的目标函数，Lattention为学生网络的基于特征图的目标函数，λ1,λ2,λ3为权重系数；步骤14：重复步骤3-13，直至总目标函数值逐渐收敛且趋于不变时，得到训练好的学生网络；步骤15：测试阶段，给定一个不同于N个预训练源域的数据集作为目标域，依次将来自目标域测试集的支持集和查询集的样本图像输入到训练好的学生特征编码器Es中，得到相应的视觉特征，计算支持集中各个类别的原型表示，计算查询集样本图像属于各个类别的概率，将计算得到的概率中最大的概率所对应的类别，作为查询集样本图像分类结果。

全文数据：

权利要求：

百度查询： 中国科学院沈阳自动化研究所 一种基于知识蒸馏的深度融合多跨域少样本分类方法