买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：河海大学

摘要：本发明涉及一种基于全局和局部对比学习的小样本图像分类方法，该方法首先对图像分类数据集进行处理，在整个基类上进行训练，在新类上构建多个小样本分类任务；接着，使用ResNet‑12作为主干网络，搭建特征提取模型；然后基于全局和局部对比学习方法对网络进行优化，使得每个局部特征保留类别信息，增强局部特征表示，并将全局对比学习与局部对比学习结合，避免全局信息的丢失；最后利用新类的元测试数据集，通过计算相似度和最近邻算法完成对查询目标样本的分类。本发明方法使模型在样本数量有限的条件下充分学习物体特征，从而有效提升模型性能。

主权项：1.一种基于全局和局部对比学习的小样本图像分类方法，其特征在于，包括如下步骤：步骤1，构建小样本图像分类模型；图像分类模型采用ResNet-12作为主干网络，不包含分类层，分类时计算特征相似度，并使用最近邻算法进行分类；特征提取网络表示为E·；步骤2，训练小样本图像分类模型；将整个基类数据集采用批次的方式输入到模型中提取特征，先对输入数据进行增强，然后基于全局对比学习和局部对比学习对模型进行优化；步骤3，处理小样本图像分类数据集中元测试数据集；测试过程中利用新类数据构建小样本图像分类元测试数据集，采样多个N-wayK-shot形式的子任务，每个子任务由支持集和查询集组成；步骤4，测试小样本图像分类模型；首先计算类别的特征原型，然后计算单个样本与类别原型之间的相似度，并使用最近邻算法进行分类；步骤2的具体方法步骤如下：S2-1、在基类数据集上随机采样一个批次共M张图像，将图像输入数据增强模块，从而生成共2M张图像；在经过增强后的数据中随机选取一个样本，将其记为xm表示选取的第m个样本；S2-2、将样本输入特征提取网络E·，去除网络最后一层的平均池化层，得到图像的局部特征um＝Exm，um∈RC×r，其中C表示特征向量维度，r＝h×w为特征图的空间尺寸，h和w分别表示高度和宽度，RC×r表示局部特征的取值范围是C×r大小的实数集合；此时，表示第i个位置的局部特征向量，局部特征的个数由特征图的空间尺寸大小决定，特征图上每一个位置对应一个局部特征；而后，局部对比学习方法将每一个位置的局部特征向量单独考虑，在每幅图像相同位置的局部特征之间进行对比学习；记表示2M张图像样本及其标签的集合，原图像与增强后的图像拥有相同的类别标签；依据Am中的标签信息，得到与xm相同类别的正样本集合，记为Pm，|Pm|为集合中样本的个数；在集合Am中，与xm不同类别的负样本集合，记为Nm；局部对比学习的损失形式如下： 其中，τ∈i+表示温度超参数，p表示Pm中的第p个样本，a表示Nm中的第a个样本，S·,·为两个图像特征向量之间的余弦相似度； 和用如下公式表示： 其中，表示样本xm第i个位置的局部特征向量与其正样本集合中第p个正样本第i个位置的局部特征向量之间的余弦相似度；表示样本xm第i个位置的局部特征向量与其负样本集合中第a个负样本第i个位置的局部特征向量之间的余弦相似度；对于样本xm，其与正样本负样本之间的特征度量，由每个位置的局部特征度量求平均得到；S2-3、进行全局对比学习，使用局部对比学习中随机采样并数据增强的2M张图像，表示2M张图像样本及其标签的集合；与局部对比学习相同，给定一张图像xm，依据Am中的标签信息，得到与xm相同类别的正样本集合，记为Pm，|Pm|为集合中样本的个数；在集合Am中，与xm不同类别的负样本集合，记为Nm；全局对比学习保留了特征提取网络E·最后的平均池化层，对于一张图像xm，图像的全局特征表示为zm＝Ezm，zm∈RC；全局对比损失的形式表示如下： 其中，τ∈i+表示温度超参数，p表示Pm中的第p个样本，a表示Nm中的第a个样本；S·,·为两个图像特征向量之间的余弦相似度，用如下公式表示：

全文数据：

权利要求：

百度查询： 河海大学 一种基于全局和局部对比学习的小样本图像分类方法