买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西北工业大学

摘要：基于跨模型互补协作的小样本图像分类方法，包括采用图像切块和随机掩码对图像数据进行预处理，预处理后分别输入到视觉基础模型和任务特定模型中进行特征提取，以视觉基础模型提取到的掩码保留的第一局部特征集合为输入，通过解码器来重建被掩码的局部块特征，分别对视觉基础模型和任务特定模型进行语义结构化表征，计算视觉基础模型和任务特定模型之间的语义结构一致性正则，利用线性分类器对输入数据进行类别隶属关系预测，根据预测标签和该样本的真实标签计算交叉熵损失，利用总损失进行端到端的训练，训练完成之后，保留视觉基础模型及对应的线性分类器进行测试；降低了由于分布差异较大以及标注数据较少而对现有微调技术泛化能力的影响。

主权项：1.基于跨模型互补协作的小样本图像分类方法，其特征在于，包括以下步骤：步骤1：给定目标领域的图像数据，采用图像切块和随机掩码对图像数据进行预处理，得到完备局部块集合，完备局部块集合包括掩码后保留的局部块集合和被掩码的局部块集合；步骤2：将步骤1预处理得到的图像数据分别输入到视觉基础模型和任务特定模型中进行特征提取，其中，视觉基础模型分别对完备局部块集合和掩码后保留的局部块集合进行特征提取，得到第一全局语义特征、第一局部块特征集合和掩码后保留的第一局部块特征集合，任务特定模型对完备局部块集合进行特征提取，得到第二全局语义特征和第二局部块特征集合；步骤3：以步骤2中掩码后保留的第一局部块特征集合为输入，通过解码器重建被掩码掉的局部块特征，以第二局部块特征集合作为重建目标计算重建损失；步骤4：根据步骤2中第一全局语义特征、第一局部块特征集合对视觉基础模型进行语义结构化表征，根据第二全局语义特征和第二局部块特征集合对任务特定模型进行语义结构化表征，计算视觉基础模型和任务特定模型之间的语义结构一致性正则损失；步骤5：利用线性分类器对输入图像数据进行类别隶属关系预测，根据预测标签和该样本的真实标签计算交叉熵损失，根据重建损失、语义结构一致性正则损失和交叉熵损失计算总损失；步骤6，利用步骤5得到的总损失对模型、分类器以及解码器进行训练，保留视觉基础模型及对应的线性分类器进行测试，得到图像分类结果。

全文数据：

权利要求：

百度查询： 西北工业大学 基于跨模型互补协作的小样本图像分类方法