买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：江苏大学

摘要：本发明公开了面向皮肤肿瘤图像分类的特征增强协作关系知识蒸馏方法，涉及图像识别技术领域，该方法包括以下步骤：获取图像样本数据及标签数据；构建知识蒸馏网络模型；构建样本特征提取模块；构建增强的特征；构建在线类间样本特征关系蒸馏；构建自适应蒸馏；构建总损失函数；训练学生网络模型；即使用步骤七计算得到的总损失函数训练学生网络模型，并反向传播，更新学生网络模型的参数，得到训练的学生网络模型；皮肤肿瘤图像实时分类。本发明应用于皮肤肿瘤图像识别与分类，不需要预训练教师，使用在线学生网络进行训练，节省蒸馏的时间、计算和存储成本。

主权项：1.面向皮肤肿瘤图像分类的特征增强协作关系知识蒸馏方法，其特征在于，该方法包括以下步骤：步骤一：获取图像样本数据及标签数据；步骤二：构建知识蒸馏网络模型；其中，所述知识蒸馏网络模型包括两个学生网络模型，学生网络模型均采用卷积神经网络；步骤三：构建样本特征提取模块；经过预处理的皮肤肿瘤图像输入卷积神经网络中，学生卷积神经网络输出最后一层的特征和logits；步骤四：构建增强的特征；对每个学生网络的最后一层特征进行增强；步骤五：构建在线类间样本特征关系蒸馏，其构建方法为：S51：对于输入到学生网络的样本，从每个学生网络增强的最后一层特征中随机选择不同类的样本，并在每个学生网络中计算随机选取的不同类的样本特征关系；S52：使用L2范数来计算类间样本特征关系，假设选取的不同类样本为xi，xj，第k个网络内部类间样本特征关系，可表示为： =其中，表示第k个学生网络，F表示整个特征增强操作；S53：使用KL散度计算不同学生网络特征关系的相似性，将这种特征关系知识转移到不同的网络，使学生网络之间能够相互学习类间样本特征关系知识，所有学生网络的总关系蒸馏损失为： ；其中，i,j表示网络的索引，为KL散度计算的关系蒸馏损失，表示网络内部的类间样本特征关系知识经过softmax函数以及温度T软化的结果，由于关系知识产生的梯度用缩放，为了确保关系蒸馏损失相对贡献大致保持不变，用对关系蒸馏损失进行缩放；步骤六：构建自适应蒸馏；，其构建方法为：S61：首先，计算每个学生网络和其他所有的学生网络相互蒸馏的损失之和的权重；根据真实标签与每个学生网络的预测输出之间的交叉熵损失，使用softmax函数为学生网络之间logits相互蒸馏的每个学生网络的蒸馏损失分配权值，设在线蒸馏的学生网络总数为m，那么第i个学生网络的权重计算为： ；其中，为是第i个学生网络的预测概率与真实标签计算而得到的交叉熵损失，为表示第j个学生网络的预测概率与真实标签计算而得到的交叉熵损失；S62：计算每个学生网络和其他所有的学生网络使用KL散度相互蒸馏的损失之和；其中，第i个学生网络和其他所有的学生网络使用KL散度相互蒸馏的损失之和为： =；其中，表示第i个学生网络的预测值logits经过softmax函数和温度T计算得到的结果，与其类似，由于软预测产生的梯度用缩放，为了确保蒸馏损失相对贡献大致保持不变，用对蒸馏损失进行缩放；S63：将上述第一步计算出的权值作为学生网络之间相互蒸馏学习的超参数，自适应地获得logits相互蒸馏损失；所有学生网络相互蒸馏的学习损失为： ；其中，是第i个学生网络的权重，是第i个学生网络和其他所有的学生网络使用KL散度相互蒸馏的损失之和；步骤七：构建总损失函数；总损失包括所有学生网络模型的预测结果与真实标签数据之间的交叉熵损失、在线类间样本特征关系蒸馏损失和自适应蒸馏损失；步骤八：训练学生网络模型；即使用步骤七计算得到的总损失函数训练学生网络模型，并反向传播，更新学生网络模型的参数，得到训练的学生网络模型；步骤九：皮肤肿瘤图像实时分类；获取实时的皮肤肿瘤图像，并将皮肤肿瘤图像输入学生网络模型，学生网络模型输出分类结果。

全文数据：

权利要求：

百度查询： 江苏大学 面向皮肤肿瘤图像分类的特征增强协作关系知识蒸馏方法