买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明提出一种基于对比损失的两步骤带噪标签样本学习方法，该方法针对现有两步骤噪声样本学习方法LongReMix存在的问题，如类别数较多的噪声数据集表现较差，对噪声类型敏感等，首先引入鲁棒性损失函数预训练两个模型以减轻对噪声类别的敏感性，其次在两个步骤中均引入对比损失与SSL技术结合，使模型可以学习更多无标签样本的特征信息从而提高模型鲁棒性。

主权项：1.一种基于对比损失的两步骤带噪标签样本学习方法，其特征在于，包括：步骤1、选择相同结构的两个DNN模型，定义其为第一DNN模型和第二DNN模型；基于给定的初始噪声标签数据集对两个DNN模型进行第一次预训练和第一次正式训练；所述初始噪声标签数据集由图片样本和图片样本的含噪声标签组成；通过第一次预训练得到具有初步判别能力的第一DNN模型和第二DNN模型后，在第一次正式训练中，利用所述第一DNN模型和第二DNN模型从初始噪声标签数据集中筛选干净样本，以构建干净样本集，并将干净样本的索引标记为True值；步骤1具体包括：步骤1.1、预设最大总迭代轮次并初始化当前总迭代轮次t的计数；所述最大总迭代轮次为第一次预训练的目标迭代轮次和第一次正式训练的目标迭代轮次之和；步骤1.2、使用GCE损失函数基于给定的初始噪声标签数据集对两个DNN模型进行第一次预训练，通过第一次预训练使第一DNN模型和第二DNN模型具有初步判别能力；其中，xi表示第i个图片样本，表示图片样本xi的含噪声标签，n是初始噪声标签数据集的样本数量；在第一次预训练的每个迭代轮次的末尾，分别计算初始噪声标签数据集中的样本在两个DNN模型上的交叉熵损失，利用GMM估计样本损失分布，对于中分布概率大于等于预设门限的样本，将其索引标记为True值，将其余样本的索引标记为False值，并按照迭代轮次顺序将标记结果分别保存在第一历史序列S1和第二历史序列S2中；步骤1.3、第一次预训练结束后，对两个具有初步判别能力的DNN模型进行第一次正式训练，所述第一次正式训练的每轮迭代包括以下步骤：步骤1.31、对于第一DNN模型，首先计算初始噪声标签数据集中的每个样本在两个DNN模型上的交叉熵损失，利用GMM估计样本当前的损失分布概率wi，将中满足wi≥τ的样本的索引标记为True值，将其余样本的索引标记为False值，τ为预设门限值，之后按照迭代轮次的顺序将标记结果保存在第一历史序列S1中；基于当前第一历史序列S1中的标记结果，从初始噪声标签数据集中选择被连续标记为True的样本放入第一有标签集合将其余样本放入第一无标签集合步骤1.32、对于第二DNN模型首先计算初始噪声标签数据集中的每个样本在两个DNN模型上的交叉熵损失，利用GMM估计样本当前的损失分布概率wi，将中满足wi≥τ的样本索引标记为True值，其余样本的索引标记为False，τ为预设门限值；按照迭代轮次的顺序将标记结果保存在第二历史序列S2中，基于当前第二历史序列S2中的标记结果，从初始噪声标签数据集中选择被连续标记为True的样本放入第二有标签集合并将其余样本放入第二无标签集合步骤1.33、对第一DNN模型，基于第二有标签集合和第二无标签集合进行半监督损失的计算后，对第二无标签集合中的样本计算对比损失计算，将总体损失后向传播更新第一DNN模型参数；步骤1.34、对第二DNN模型基于第一有标签集合和第一无标签集合进行半监督损失的计算后，对第一无标签集合计算对比损失，将总体损失后向传播更新第二DNN模型参数；步骤1.35、将t值加1，判断当前总迭代轮次t的计数是否满足小于等于若满足，进行第一次正式训练的下一轮迭代过程，若不满足，则进入步骤1.4；步骤1.4、从第一历史序列S1中选出在最后连续个轮次的迭代中，均标记为True值的样本，将其放入干净样本集合Dc，公式表达如下： 式中，state[j][i]表示第一历史序列S1的第j个序列的第i个样本的标记状态；步骤2、重新初始化所述的两个DNN模型，基于给定的初始噪声标签数据集对初始化后的两个DNN模型进行第二次预训练和第二次正式训练；通过第二次预训练得到具有初步判别能力的第一DNN模型和第二DNN模型后，在第二次正式训练的每轮迭代中：利用第一DNN模型标记初始噪声标签数据集的样本，将在第一DNN模型的标记结果中索引为True值或属于所述干净样本集的样本均放入第一有标签集合，将初始噪声标签数据集的其余样本放入第一无标签集合；利用第二DNN模型重新标记初始噪声标签数据集的样本，将在第二DNN模型的标记结果中索引标记为True或属于所述干净样本集的样本放入第二有标签集合，将初始噪声标签数据集的其余样本放入第二无标签集合；对第一DNN模型，基于第二有标签集合和第二无标签集合进行半监督及对比损失计算后，进行后向传播更新第一DNN模型参数；对第二DNN模型，基于第一有标签集合和第一无标签集合进行半监督及对比损失计算后，进行后向传播更新第二DNN模型参数；训练结束，获得两个最终的DNN模型。

全文数据：

权利要求：

百度查询： 江苏开放大学(江苏城市职业学院) 一种基于对比损失的两步骤带噪标签样本学习方法