买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明公开了一种基于Transformer的二训练图像分类算法，属于图像分类技术领域，包括将图像进行预处理并划分成固定大小的子图，连接子图形成输入数据；将输入数据输入ResNet‑50模型，获得图片分类结果；将分类标签和蒸馏标签分别拼接到输入数据的头和尾，得到标签数据；将标签数据进行位置编码，得到位置编码标签数据；将位置编码标签数据输入Transformer模型中，获取分类标签和蒸馏标签的分类结果；将Transformer模型作为学生模型，ResNet‑50模型作为教师模型构建损失函数；将损失函数对Transformer模型进行反向传播训练，训练完成后，得到训练好的Transformer模型；基于训练好的Transformer模型，获得待测图像的类别。本发明将ResNet‑50模型和Transformer模型分别作为师生模型，学习教师网络的特征空间表达，最后输出分类结果。

主权项：1.一种基于Transformer的二训练图像分类算法，其特征在于，包括：将输入的图像进行预处理；将处理后的所述图像划分成固定大小的子图，连接各个所述子图后进行维度调整，形成输入数据；将所述输入数据输入ResNet-50模型，获得图片分类结果；定义分类标签和蒸馏标签，并将所述分类标签和所述蒸馏标签分别拼接到所述输入数据的头和尾，得到标签数据；将所述标签数据进行位置编码，得到位置编码标签数据；将所述位置编码标签数据输入注意力Transformer模型中，获取所述分类标签的分类结果以及所述蒸馏标签的分类结果；将所述注意力Transformer模型作为学生模型，所述ResNet-50模型作为教师模型构建损失函数；将所述损失函数对所述注意力Transformer模型进行反向传播训练，训练完成后，得到训练好的所述Transformer模型；基于训练好的所述Transformer模型，获得待测图像的类别；所述将所述位置编码标签数据输入注意力Transformer模型中，获取所述分类标签的分类结果以及所述蒸馏标签的分类结果包括：将所述位置编码标签数据输入所述注意力Transformer模型中Encoder编码器，设定滑动窗口，采用全局与所述滑动窗口结合的多头自注意力机制，获得自注意力机制的结果；将所述自注意力机制的结果输入至所述Transformer模型中Meta-Transformer学习器，获得不同类别的各个特征分布；将所述不同类别的各个特征分布泛化，进行二次训练，训练完成后获得训练好的所述Transformer模型；将所述位置编码标签数据输入至训练好的所述Transformer模型，获得所述分类标签的分类结果以及所述蒸馏标签的分类结果；将所述自注意力机制的结果输入至所述Transformer模型中Meta-Transformer学习器，获得不同类别的各个特征分布包括：所述Meta-Transformer学习器中设有符合高斯分布参数的度量模型；对所述度量模型进行初步训练：将所述输入数据分为训练集和测试集，所述测试集为单一类别，所述训练集为不同于所述测试集的至少一种不同类别；将所述自注意力机制的结果与所述训练集和测试集同步输入迭代训练，求解所述度量模型中的参数，完成所述度量模型的训练。

全文数据：

权利要求：

百度查询： 杭州慧看智能科技有限公司 一种基于Transformer的二训练图像分类算法