买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国海洋大学

摘要：本发明属于图像处理领域，公开了基于局部特征重加权及类别自适应的小样本图像识别方法，包括步骤S1、构建小样本识别任务：从训练集中采样一个小样本图像识别任务，每个任务包括两部分：支持集和查询集，步骤S2、特征提取，得到类别特征，步骤S3、基于类间关系的局部特征重加权：利用类间关系对样本的局部特征进行重新加权，步骤S4、局部特征类别自适应，得到自适应特征，步骤5：密集特征相似度度量：计算自适应后的查询集样本M个局部特征和支持集样本的M个局部特征的两两之间的相似度得分，与查询集图像相似度得分最高的类别即为查询集图像的类别。通过本发明提高基于局部特征度量的小样本图像识别的性能。

主权项：1.基于局部特征重加权及类别自适应的小样本图像识别方法，其特征在于，包括以下步骤：步骤S1、构建小样本识别任务：从训练集中采样一个小样本图像识别任务，每个任务包括两部分：支持集和查询集，从训练集中随机选择N个类别，然后从N个类别中随机抽取K个样本，共N×K的样本，构成支持集；然后从剩下的样本中，再随机抽取q个样本，共N×q个样本，构成查询集，其中，支持集是有标签的，查询集是没有标签的，在每次训练过程中，要求模型利用N×K样本学会如何区分这N个类别；步骤S2、特征提取：对于任务T中的每个图像x，通过特征提取网络，得到其全局语义特征为fclsx，以及M个局部特征为fx；对于任务T中N个类的每个类，将其K张图像的全局语义特征相加然后取平均作为类别特征fpx，以供后续步骤使用；步骤S3、基于类间关系的局部特征重加权：局部特征重加权模块利用类间关系对样本的局部特征进行重新加权，对于支持集中的每个样本，将其M个局部特征和另外N-1个类的类别特征送入到局部特征重加权模块；局部特征重加权模块通过注意力机制找到当前样本中与其他类别相似的局部特征并分配小的权重，得到M个重加权后的局部特征步骤S3重加权的具体操作如下：首先计算N-1个类别特征和查询集样本M个局部特征注意力向量A，其维度为1×M，Ai表示类别特征和样本第i个局部特征的注意力分数，然后将N-1个注意力向量A取反并相加后送入到一个投影头，得到总的权重向量最后将得到总的权重向量与查询集样本M个局部特征相乘以进行加权，如下所示： 表示重新加权后的第i个局部特征，其中i∈[1，M]；表示权重向量的第i个值；步骤S4、局部特征类别自适应：对于支持集样本，将支持集样本重加权后的M个局部特征和本类的类别特征fpx送入到局部特征类别自适应模块；对于查询集样本，将其全局特征和局部特征一起送入到局部特征类别自适应模块，得到M个自适应特征；步骤S4中，局部特征类别自适应模块由两层Transformer编码器块组成，对于支持集样本，首先通过注意力机制学习类别特征和局部特征之间的关系并将其投影得到类别自适应系数向量R；然后，将类别适应系数向量R乘类别特征fpx后，与局部特征类别自适应模块输出的局部特征相加得到M个自适应特征如下所示： 表示自适应相关融合后的第i个局部特征，Ri为类别适应系数向量R的第i个值，表示该类别特征fpx和该样本第i个局部特征的适应系数，表示局部特征类别自适应模块输出的第i个局部特征；对于查询集样本，则是将其全局特征和局部特征一起送入到局部特征类别自适应模块得到M个自适应特征如下所示： 其中，表示查询集样本类别自适应后的第i个局部特征，Ri为类别适应系数向量R的第i个值，表示查询集样本全局特征和该样本第i个局部特征的适应系数，表示查询集样本经过局部特征类别自适应模块输出的第i个局部特征；步骤5：密集特征相似度度量：计算自适应后的查询集样本M个局部特征和支持集样本的M个局部特征的两两之间的相似度，得到M×M的相似度矩阵，获得相似度得分。

全文数据：

权利要求：

百度查询： 中国海洋大学 基于局部特征重加权及类别自适应的小样本图像识别方法