买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：电子科技大学

摘要：本发明提出了一种基于信息丢失机制的自监督连续学习方法，包括：1一种基于信息丢失的无监督连续学习框架，以促使模型在连续任务上仅学习重要的特征表示；2一种基于自监督学习范式的InfoDrop损失项，以帮助模型在测试阶段去除Infodrop机制后，依旧能够提取到测试样本的重要特征表示。此外，本发明提出的无监督连续学习框架可以和大部分的连续学习策略同时使用。通过丢弃不重要的图像信息，使得模型仅关注对重要的图像信息的特征表示，以缓解模型容量的限制，在不需要引入历史任务的样本或者历史模型的参数信息情况下，提升了自监督模型的性能。

主权项：1.一种基于信息丢失机制的图像特征连续提取方法，该方法包括：步骤1：对数据集进行预处理；获取真实世界物体图像，并将这些真实图像按照其中物体的类别进行标注，对所有图片的像素值进行归一化，并对图片进行缩放裁剪，然后将图像划分成多个数据集，每个数据集包含图像的类别不同；步骤2：构建自监督学习模型；自监督学习模型由特征编码器fΘ和特征预测头h两部分组成；特征编码器fΘ由特征提取模块fb和特征投影模块fg级联而成：采用残差卷积神经网络Resnet18构造特征提取模块，它的第一层为卷积神经网络块，第二层到第五层为残差网络块，最后一层为自适应平均池化层；特征投影模块由两层线性层连接而成；特征编码器fΘ的输入为图像输出为图像的特征表示特征预测头h由两层线性层连接而成，它的输入为图像的特征z，输出为图像特征的预测步骤3：构建自监督连续学习范式；自监督连续学习致力于在一系列有序到达的无标签任务上学习图像的特征表示，每个任务上具有不同分布的数据集从数据集中随机采样得到图像x，然后对它分别采取两次图像变换操作得到两个相关视角的图像x1和x2；利用特征编码器对图像的一个视角x1进行特征编码，得到它的特征z1＝fx1，采样相同方法得到另一个视角x2的特征z2＝fx2；自监督连续学习的目标是在训练的任意时刻τ都能让模型学习到对历史任务{T1，...，Tτ-1}和当前任务Tτ中的图像表示： 其中，在小批次样本上计算损失项的均值，以近似期望算子xi，t表示从数据集上随机采样得到的小批次样本中的第i个样本，N为样本总数；损失项为自监督学习损失，这里采用SimSiam中的自监督损失计算公式： 其中是特征编码器对于的输出，是特征预测头关于的特征表示的预测stopgrad·表示阻止变量的梯度反向传播；||·||2为二范数算子；步骤4：建立信息丢失机制引入了InfoDrop机制——一种基于信息的Dropout方法，以帮助连续学习模型丢弃图像中不重要的特征，仅保留重要的特征；如果当神经元输入的图像patch中包含较少的信息，Infodrop机制会以较高的概率将该神经元的输出置零，否则保留它的输出；具体来说，在Boltzmann分布下计算神经网络中第l层中的第c个通道的第j个神经元的输出的丢弃系数： 其中，是神经网络中第l层中的第c个通道的第j个神经元的输入patch；定义为自信息，当神经元的输入patch中的自信息比较低时，该神经元的输出会以较大的概率被丢弃，即促使神经网络减少对图像中的低信息区域的关注；T为温度系数，是InfoDrop机制的一个“软阈值”，当T变小的时候，即阈值降低，大部分的patch将被保留，只有极少的自信息低的patch会被丢去；当T变成无穷大的时候，即阈值变高，InfoDrop机制将退化成常规的Dropout机制，所有的patch将会被等概率地丢弃；为的概率分布；为了近似分布InfoDrop机制假设的邻域的patch都采样来自于分布当和它邻域内的patch的模式重复时，会造成较高的并因此得到一个低的自信息；定义分布的估计为： 其中，R表示领域的曼哈顿半径，||·||表示欧式距离，h是带宽，b为带宽；从的计算公式可以观察得出，当和它邻域内的patch越不相同，那么它就会包含更多的自信息，即将会以更低的概率被置零；步骤5：构建基于信息丢失机制的自监督连续学习框架；为了避免第二次优化带来的不利影响，基于自监督学习范式，构建了一种适应于自监督连续学习的信息丢失机制；当在任务上训练模型时，在自监督损失项的基础上引入InfoDrop损失，构造如下带有InfoDrop机制的自监督学习范式： 该自监督学习范式包含两项，第一项为原始的自监督损失项，第二项为InfoDrop正则项；其中，为带有InfoDrop机制的模型的输出，记为目.和fΘ共享网络权值；通过最小化InfoDrop正则项，可以使得不带InfoDrop机制的模型fΘ的输出和带有InfoDrop机制的模型的输出相近似，以促使模型fΘ在不采取InfoDrop机制下主动去捕获具有重要信息的区域的特征，忽略不重要的特征；步骤6：1按步骤1处理数据集得到多个任务的数据集；2按步骤2构建无监督学习模型；3按任务到达顺序，在每个任务的训练集上训练模型；步骤7：利用KNN算法评估模型的性能；在任务上使用KNN分类算法对模型fΘ进行准确率测试的步骤：1将任务上的训练集转换为特征库其中vi＝fΘxi；2基于特征库，预测任务上的测试集样本的类别a计算测试样本的特征表示与特征库中各个表征的相似性sij＝cosfi，vj；b将中前K大的项作为测试样本的K近邻集合采用加权投票法计算测试样本在C个类别上的得分，得分最高的类别即为测试样本的预测分类，测试样本在第j个类别上的得分计算公式如下： 其中T为温度参数；测试样本的预测类别即为c计算模型fΘ在任务上的测试准确率：步骤8：在每个任务上训练完模型后，利用模型的特征编码器fΘ中的特征提取模块fb来对各个任务上的测试集的图像进行特征表示，然后采用KNN分类算法来评估模型的特征表示的有效性。

全文数据：

权利要求：

百度查询： 电子科技大学 一种基于信息丢失机制的自监督连续学习方法