买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明公开了一种融合强化学习与递进学习的表情识别方法，该方法包含：构建包含样本筛选模块与表情分类模块的强化学习模型；将训练集样本划分为I组，使用一组样本对强化学习模型的每一轮训练中，表情分类模块输出预测类别概率，样本筛选模块将样本分为容易、较易、不易分类样本，按照递进学习思想使用容易、较易和不易分类样本对表情分类模块重新训练，根据重新训练前后表情分类模块输出的预测类别概率之差，基于强化学习方法调整样本筛选模块，进入下一轮的模型训练，经过I轮迭代训练得到训练好的表情分类模块；用训练好的表情分类模块对人脸图像进行表情识别。该方法能消除含噪声标签样本对模型训练的不利影响,提升表情识别准确性和鲁棒性。

主权项：1.一种融合强化学习与递进学习的表情识别方法，其特征在于，该方法包括以下步骤：S1：构建包含样本筛选模块与表情分类模块的强化学习模型；S2：将训练集样本划分为I组，在使用一组样本对强化学习模型的每一轮训练中，表情分类模块输出预测类别概率，样本筛选模块将样本分为容易、较易或不易分类样本，按照递进学习思想依次使用容易、较易和不易分类样本对表情分类模块重新训练，根据重新训练前后表情分类模块输出的预测类别概率之差，基于强化学习方法调整样本筛选模块，并进入下一轮的模型训练，经过I轮迭代训练得到训练好的表情分类模块；S3：用训练好的表情分类模块对人脸图像进行表情识别；所述步骤S2包含以下子步骤：步骤2.1：对样本筛选模块、表情分类模块进行随机初始化，利用人脸表情图像库中的所有训练样本对表情分类模块进行初步训练；步骤2.2：将人脸表情图像库中训练集样本划分为I组，每组K个样本，其中样本一共有C个类别；步骤2.3：分别初始化i和k的值为1，设第i组第k个样本为其标签类别为其中，i∈{1，2…I}，k∈{1，2…K}；判断i≤I是否成立，如果成立，则执行步骤2.4，如果不成立，则执行步骤S3；步骤2.4：判断k≤K是否成立，如果成立，则执行步骤2.5，如果不成立，则执行步骤2.8；步骤2.5：将样本输入表情分类模块进行特征提取得到特征向量并输出第c类类别预测概率为得到对应标签类别的预测概率将第i-1组已分类为容易、较易、不易分类样本中容易分类样本的类平均特征向量设为feasy、较易分类的类平均特征向量设为feasier、不易分类样本的类平均特征向量设为fhard；当i＝1时，feasy、feasier、fhard设为全零向量；当i≠1时，将第i-1组已分类为容易、较易、不易分类样本按类别输入表情分类模块进行特征提取，并将提取到的特征向量按照类别计算平均以得到类平均特征向量feasy、feasier、fhard；步骤2.6：获取样本的状态，步骤S2中有关强化学习模型中状态的定义如下：每个表情图像样本都有一个状态它包含当前样本的特征向量还包含feasy、feasier和fhard；则样本的状态为特征向量与各类的平均特征向量feasy、feasier、fhard拼接得到的向量，并将状态输入样本筛选模块；步骤2.7：对样本的状态进行动作选择，步骤S2中有关强化学习模型中动作的定义如下：样本筛选模块的动作是将样本分为容易分类样本、较易分类样本和不易分类样本，设a1表示将样本分为容易分类样本的动作，a2表示将样本分为较易分类样本的动作，a3表示将样本分为不易分类样本的动作，其中，样本筛选模块中Sigmoid分类层输出结果ρ，当ρ≤k1时执行动作a1，当k1＜ρ＜k2时执行动作a2，当k2≤ρ时执行动作a3，其中，ρ∈[0,1]，0＜k1＜k2＜1；则对于样本样本筛选模块执行的动作为样本筛选模块将样本分类为容易分类样本，较易分类样本或不易分类样本，并将样本放入相应样本子集，设样本数据集表示为D∈Rn，将D分为三个样本子集：容易分类样本集Deasy∈Rn，较易分类样本集Deasier∈Rn以及不易分类样本集Dhard∈Rn，其中，D＝Deasy∪Deasier∪Dhard，k++跳转到步骤2.4；步骤2.8：对于第i组中的K个样本的标签类别预测概率计算步骤2.9：采用递进学习的思想，按照先易后难的顺序，分三个阶段循序渐进地对表情分类模块进行重新训练，得到重新训练的表情分类模块；步骤2.10：对样本筛选模块进行奖励，步骤S2中有关强化学习模型中奖励的定义如下：在表情分类模块重新训练之后，将样本输入到表情分类模块，得到标签类别的预测概率令将作为奖励，奖励值越高，则表示样本筛选模块的筛选越正确；利用重新训练后的表情分类模块依次对第i组中的K个样本分别进行类别预测以得到对应标签类别的预测概率根据奖励的定义，计算奖励将一种使用奖励的交叉熵作为损失函数，训练样本筛选模块的参数θ，损失函数为其中，表示输入样本筛选模块时的输出；i++跳转到步骤2.3。

全文数据：

权利要求：

百度查询： 南京邮电大学 一种融合强化学习与递进学习的表情识别方法