买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：电子科技大学

摘要：本发明公开了一种基于多模态特征抑制背景捷径的小样本图像分类方法、电子设备和存储介质，用于小样本场景下将新类图像输入至经基类数据训练完成的分类系统进行分类判断，方法包括：将新类图像划分为新类支持集和新类查询集；对每类新类支持集的图像计算类别中心；对每类新类查询集的图像执行如下操作：采用与新类支持集的图像相同的方式，计算每类新类查询集的图像的新类查询特征向量；将新类查询特征向量与对应类别的类别中心进行度量，计算模型在新类上的分类性能。本发明对特征提取器的输出特征图进行修正，引入文本特征辅助像素级别的背景判别，抑制特征图中的背景信息，使模型更加关注物体本身，从而解决了背景捷径对小样本图像分类的影响。

主权项：1.一种基于多模态特征抑制背景捷径的小样本图像分类方法，用于将新类图像输入至经基类数据训练完成的分类系统进行分类判断，其特征在于：所述方法包括以下步骤：将所述的新类图像划分为新类支持集和新类查询集；对每类新类支持集的图像执行如下操作：将新类支持集的图像输入至特征提取器后输出维度为[B,C,H,W]的特征图，其中B、C、H、W分别对应batchsize、通道数、特征图长度和特征图宽度；所述特征图经过变形后得到视觉特征，所述视觉特征具体为B×H×W个大小为C的像素点特征向量；将背景-前景文本对输入至文本编码器后输出得到文本特征，所述文本特征包括代表背景文本特征的背景特征向量、和代表前景文本特征的前景特征向量；将所述像素点特征向量输入至适应器得到适应视觉特征向量，从而将视觉特征和文本特征进行对齐；将适应视觉特征向量、背景特征向量和前景特征向量进行度量，从而将每个像素点分类为背景点和前景点，背景点被抑制为0，同时计算出每张图片上背景点的数量N，得到缩放因子s＝H×NW；在将分类得到的背景点进行背景抑制后，将特征图变形回维度为[B,C,H,W]的特征图，经过全局池化后、并与缩放因子s相乘，得到新类支持特征向量[B,C]；将每类新类支持集的图像对应的新类支持特征向量[B,C]进行平均，得到对应类别的类别中心；对每类新类查询集的图像执行如下操作：采用与新类支持集的图像相同的方式，计算每类新类查询集的图像的新类查询特征向量[B,C]；将新类查询特征向量[B,C]与对应类别的类别中心进行度量，计算模型在新类上的分类性能。

全文数据：

权利要求：

百度查询： 电子科技大学 一种基于多模态特征抑制背景捷径的小样本图像分类方法、电子设备和存储介质