买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明属于图像识别技术领域，涉及一种任务适应关联学习的小样本学习方法，包括：S1、利用任务特定的提示词，辅助原有的提示；S2、利用对比学习增强训练特征的判别性；S3、使用多样性的图像增强手段，增强图像的对比度；本发明通过自然语言的丰富描述强化了模型的泛化能力，使CLIP即便面对前所未遇的类别或复杂概念，也能游刃有余。因此，本发明方法不仅减轻了对大规模标注数据集的依赖，还提高了模型在小样本甚至零样本情况下的学习能力，增强了模型面对新环境的适应性和泛化能力，本发明极大地简化了模型的部署流程，使其成为解决图像识别和描述任务中一系列挑战的强有力工具。

主权项：1.一种任务适应关联学习的小样本学习方法，其特征在于，所述方法包括以下步骤：S1、利用任务特定的提示词，辅助原有的提示；具体包括：S1-1、设计针对该任务的模板，所述模板包括：模板一、模板二，所述模板一包括：利用该领域专家的知识，为类别生成更精确的提示语，所述模板二包括：使用形象的、直观的描述词，直接描述这种类别呈现出来的视觉特征；S1-2、将步骤S1-1中设计的两个模板依次输入大语言模型，即先将类别名称写入模板一中，输入LLM中，会得到一条或多条提示词，然后再以对话的方式进一步输入模板二到LLM中，会得到优化后的提示词；遍历数据集中所有的类别，可以得到一系列的任务特定的提示词，将其保存下来，在后续模型推理时使用；S2、利用对比学习增强训练特征的判别性；具体包括：S2-1、设计一个线性层网络adapter，所述网络的大小与特征集的大小的转置一致，并利用CLIP的图像特征提取器提取到的特征集初始化该网络；将输入图像的特征输入adapter得到一个亲和矩阵affinity，代表输入特征和训练特征之间的相似度矩阵；归一化affinity得到affinity_norm，将这个变量作为优化的对象；S2-2、计算特征向量之间的相似度矩阵，通过将特征向量矩阵与其转置相乘，并除以温度参数；S2-3、创建一个对角线为True的布尔掩码矩阵mask，通过掩码选择相似度矩阵中对角线上的元素，即正样本，和非对角线上的元素，即负样本；将正样本和负样本的相似度值合并成logits张量，其中正样本位于每行的第一个位置，其余为负样本；S2-4、创建一个全零的labels张量，使用交叉熵损失计算最终的对比损失值，其中logits作为预测值，全零的labels张量作为目标值；S3、使用多样性的图像增强手段，增强图像的对比度。

全文数据：

权利要求：

百度查询： 西安交通大学 一种任务适应关联学习的小样本学习方法