买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：河南工业大学

摘要：本发明公开了一种融合不确定性的对抗强泛化语音情感识别方法，包括以下步骤:1获取包含多种情感的语音数据库,按个体划分为源域和目标域数据,提取源域及目标域的对数梅尔谱图特征;2对源域数据进行时移、速度增强等扩充，提取扩充数据的对数梅尔谱图特征;3搭建特征提取器、分类器和判别器网络，原始语音样本进行对抗训练;4设计不确定性样本筛选机制，利用经对抗训练后的识别网络模型计算样本的预测熵和标准差,通过不确定性筛选条件对预测向量进行筛选，并对满足筛选条件的向量打伪标签;5将筛选后的增强样本加入训练集；重复步骤3‑5，直至预设轮次结束。在IEMOCAP上的仿真结果表明，该方法有效提高了模型的识别性能。

主权项：1.一种融合不确定性的对抗强泛化语音情感识别方法，其特征在于，包括如下步骤：1获取包含多种情感类型的语音数据库，将语音数据按照不同个体划分为源域和目标域，源域和目标域语音数据包含相同的情感类型，提取源域和目标域语音数据的对数梅尔谱图log-melspectrogram特征，分别记为2采用速度增强、噪声注入、时移、重采样、音调移动和混响RIR等语音增强方法对源域语音数据进行扩充，并提取扩充语音数据的对数梅尔谱图log-melspectrogram特征，记为Ta；3搭建特征提取器网络、分类器、判别器网络，利用搭建好的网络对进行对抗训练，至预设的训练轮次；4利用对抗训练后的特征提取器网络和分类器对增强数据集Ta进行预测，获得概率预测矩阵，计算预测样本的预测熵和标准差，通过基于预测熵和标准差的方法来获得样本的不确定性K，具体计算公式如下所示：K＝n*Hμpc+m*σpc上式中，n，m为可计算超参数，σpc表示标准差、Hμpc为预测熵，是T次前向传播中c类对应的概率值；5利用计算所得不确定性K、不确定性限制阈值λ、置信度阈值γ对概率预测矩阵中预测向量进行筛选，具体公式如下：KλIμpcγ只有满足上式条件的样本，被保留下来，不满足的样本被剔除；6计算满足步骤5样本的伪标签，计算公式如下： 将y′j与扩充数据原样本的yj进行比较，若两个标签类型不一致，则剔除掉该样本，最终得到筛选后的增强数据集Targ_final_clean，将Targ_final_clean补充至中，得到扩充后的训练集T′0；7重复步骤3-6，至预设轮次结束循环，步骤4中对抗训练得到的特征提取器网络、分类器可作为用于语音情感的识别模型。

全文数据：

权利要求：

百度查询： 河南工业大学 一种融合不确定性的对抗强泛化语音情感识别方法