买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西北工业大学

摘要：本发明公开了一种基于超像素特征表征学习的语义分割主动学习方法，设计一个特征提取头来提取主干网络输出的特征，输出逐像素的特征向量，通过特征存储库存储历史类别的特征向量，通过难样本挖掘技术选择对比学习中的正负样本，应用INFONCE损失使得同类间的特征向量靠近，不同类的向量远离。在样本选择方面，通过特征存储库中的向量对UMAP算法进行训练，然后经过超像素分割的未标记的图像区域的特征向量进行降维，再通过Kmeans算法进行聚类，在各个簇中根据熵值选择需要标记的超像素块，以此通过最少的标注数据达到最好的分割性能。实验表明，仅通过8％的有标记数据即可达到全标记数据的95％的性能，领先于现有的应用于语义分割的主动学习的方法。

主权项：1.一种基于超像素特征表征学习的语义分割主动学习方法，其特征在于，包括如下步骤：步骤1：对数据集D进行超像素分割，即将每个图像分割成多个超像素块；然后从分割后的超像素块中随机选择一部分超像素块进行标记作为初始的已标记数据集DL，其余的作为未标记数据集DU；网络模型采用教师-学生网络框架，其中学生网络θs和教师网络θt具有相同的网络结构，都由一个主干网络和两个并行的模块组成；主干网络采用FCN+Resnet50结构，两个并行的模块分别为线性分类模块θseg和特征提取模块θproj，θseg和θproj是两个不同的模块，不共享参数，跟在主干网络的后面；分别代表学生网络θs对应的线性分类模块和特征提取模块，分别代表教师网络θt对应的线性分类模块和特征提取模块；两个并行的模块都是由二维卷积、批归一化函数、Relu激活函数以及Dropout组成；初始的特征存储库M置为空；步骤2：利用教师网络θt对未标记的数据集DU进行预测，通过线性分类模块和特征提取模块获得各个像素点的分类概率以及特征向量；针对同一超像素块的所有像素点，对他们的特征向量取平均值，求得该超像素块的特征向量表示fR；根据像素点的分类概率求得该像素点的信息熵值，对同一超像素块的所有像素点的信息熵值求平均值得到对应超像素区域的信息熵；步骤3：当特征存储库M为空时，对非线性降维方法UMAP采用随机初始化；当M不为空时，通过M中的特征向量来训练UMAP，以学习一个映射函数；通过UMAP方法把超像素块的特征向量降维到二维空间；接下来应用Kmeans聚类方法，对降维后的特征向量进行聚类，每个聚类簇包含一组特征向量，代表一组相似的超像素块，在每个聚类的簇中获得步骤2中平均信息熵值最大的超像素块，作为选择要标记的样本；步骤4：对通过步骤3选择的要标记的超像素块集合通过专家O进行标注后，加入到已标记数据集DL，并在未标记数据集DU中去除相应的超像素块；步骤5：用更新后的DL经过弱数据增强后分别输入到学生网络和教师网络中，通过各自的线性分类模块和特征提取模块获得相应的分类概率以及特征表示，用来分别计算主损失LCE和对比损失LContra；对于主损失采用交叉熵损失，通过学生网络的线性分类模块得到各个像素点的预测值，再根据真实标签值计算交叉熵损失；对于对比损失采用InfoNCE，计算时需要锚样本、正样本、负样本三种不同的样本；锚样本的选择是根据教师网络的线性分类模块得到各个像素点的预测值，计算各个像素点的熵值，并根据大小来选择对应像素点在通过学生网络特征提取模块输出的特征；正样本是当前特征存储库的同类别的特征向量的平均值；负样本是当前特征存储库的不同类别的向量和锚样本相似度最高的特征；根据熵值的大小选择每个类别的Ma个特征向量作为锚样本，选择策略分为两部分：一部分是预测错误且熵值最大的特征向量，另一部分是随机选取的特征向量；锚样本选择策略公式如下： 其中，Ma是锚样本的数量，Fs表示学生网络的特征提取模块输出的特征集合，表示第c类第i个像素的特征；表示在Fs随机选择个像素的特征向量，表示教师网络预测正确的第c类第i个像素的熵值，表示按照大小排序后第大的值；步骤6：更新特征存储库M；根据教师网络的线性分类模块的输出，对像素点做预测，对预测正确的像素点，根据其熵值大小进行排序，对于每一个类别，前Me个像素点对应的特征向量加入到特征存储库M中，以此作为特征存储库的更新方法；选取特定特征Fenqueue更新特征存储库的公式如下所示： 其中，Ft表示教师网络的特征提取模块输出的特征集合，表示第c类样本，按照熵值大小排序，第Me大的值所对应的值；步骤7：总损失为交叉熵损失和对比损失的加权和，通过Adam优化器对网络进行训练，更新学生网络的参数，再通过指数平均移动更新教师网络参数；步骤8：重复步骤2到步骤7，直至达到预设的预算或者指定的性能。

全文数据：

权利要求：

百度查询： 西北工业大学 一种基于超像素特征表征学习的语义分割主动学习方法