买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明公开了基于全局和局部内容匹配的小样本图像分类方法及装置，所述方法包括：获取自然图像样本集，对自然图像样本集中的图像特征提取，得到全局特征和局部特征，将与图像对应的文本描述转换为高维特征向量；选择性地组合判别性的局部特征，并利用局部特征融合构建局部表示；将局部表示和全局特征进行匹配，构建鲁棒分类器；对鲁棒分类器训练，利用训练后的鲁棒分类器进行图像分类。通过关注图像的局部内容，并通过选择性地组合局部内容来设计一个局部构造来构建鲁棒的局部表示，这有助于分类器关注图像的细节；将两种分类器结合起来，同时关注局部细节和全局结构，从多个角度对图像内容进行分析，从而实现样本识别。

主权项：1.一种基于全局和局部内容匹配的小样本图像分类方法，其特征在于，所述小样本图像分类方法包括：获取自然图像样本集，对所述自然图像样本集中的图像特征提取，得到全局特征和局部特征，将与所述图像对应的文本描述转换为高维特征向量；其中每个维度对应于特定的语义或特征，高维特征向量捕捉了文本描述的语义信息，使得不同的文本描述在特征空间中有不同的表示；获取自然图像样本集，对所述自然图像样本集中的图像特征提取，得到全局特征和局部特征，将与所述图像对应的文本描述转换为高维特征向量包括：获取自然图像样本集，所述自然图像样本集用于预训练；利用CLIP模型的视觉编码器对所述自然图像样本集中的图像进行特征提取，得到全局特征和局部特征；利用CLIP模型的文本编码器将与所述图像对应的文本描述转换，转换后的部分输出参与局部表示构造；选择性地组合判别性的局部特征，判别性的局部特征包含了能够将该局部特征对应内容分类到正确类别的信息，并利用所述局部特征融合构建局部表示，选择性地组合判别性的局部特征，判别性的局部特征包含了能够将该局部特征对应内容分类到正确类别的信息，并利用所述局部特征融合构建局部表示包括：利用CLIP模型计算局部特征的分类分数；计算分类分数与文本标签之间的KL散度，根据所述KL散度选择局部特征，通过平均融合选定的所述局部特征；以选定的所述局部特征的平均值作为局部表示；将所述局部表示和所述全局特征进行匹配，构建鲁棒分类器；将所述局部表示和所述全局特征进行匹配，构建鲁棒分类器包括：根据所述局部表示和所述全局特征分别构建局部分类器和全局分类器；将所述局部分类器和所述全局分类器融合得到鲁棒分类器；对所述鲁棒分类器训练，利用训练后的所述鲁棒分类器进行图像分类。

全文数据：

权利要求：

百度查询： 中国科学技术大学 基于全局和局部内容匹配的小样本图像分类方法及装置