买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：河南工业大学

摘要：本发明提出了一种基于样本均衡和最大均值差异的跨库语音情感识别方法。本方法首先对语音信号进行处理，将其提取为时域与频域信息相结合的语谱图，采用Alexnet网络进一步提取语谱图特征，利用最大均值差异（MaximumMeanDiscrepancy,MMD）将源域和目标域特征进行对齐，结合Frobenius范数最大化（Frobenius‑NormMaximization,FNM），增强了预测矩阵中的模糊样本的可判别性，消除类别间样本数量不平衡的影响，进一步提高了跨库语音情感识别的准确率。

主权项：1.一种基于样本均衡和最大均值差异的跨库语音情感识别方法，包含以下步骤：1语音预处理：对时域连续采样的语音信号进行分帧、加窗及短时离散傅里叶变换处理，提取语谱图，语谱图直观的反映了各个时刻语音频率成分的能量强弱，包含了丰富的语音情感信息；2特征提取：步骤1提取到的语谱图是一维语音信号在二维时域和频域上的展开，利用Alexnet在语谱图上提取深度特征；3特征对齐：将步骤2中生成的特征矩阵输入MMD模块，此模块将源域和目标域特征映射到再生希尔伯特空间，寻找映射函数使得变换后的源域和目标域距离最小，源域目标域距离定义为： 4样本均衡：步骤2中的特征矩阵在经过Softmax处理后成为预测矩阵Pi，j，对其进行双重Frobenius范数最大化处理，首先，在使用熵最小化法来保证模型预测准确性的方法中，Frobenius范数和熵HX具有严格相反的单调性，因此，Frobenius范数最大化保证HX最小化，增加模型预测准确性，与此同时，为了弥补因熵最小化法带来的模糊样本误判，计算输出预测矩阵中的每一行与其下方所有行的差值，构造样本间距度量矩阵D，此时，最大化矩阵D的Frobenius范数在保证模型预测精度的同时使得预测类别更丰富，保护了决策边界上的模糊样本，过程为： 其中，Q为batchsize除以分类数j所得的商，R为batchsize除以分类数j所得的余数，D的维度为分类数j列乘以行；5模型训练：将步骤1得到的语谱图直接输入Alexnet网络，将源域和目标域的特征进行MMD度量，得到特征分布差异损失Lmmd，有标签的源域数据经过分类器后得到分类损失Lcls，将无标签的目标域数据经过特征提取网络后得到的预测矩阵转化为样本间距度量矩阵，对度量矩阵进行Frobenius范数最大化操作，得到损失为Lfnm，利用反向传播算法对模型进行训练，总损失为：Lall＝Lcls+Lmmd+Lfnm66重复步骤234，优化网络模型参数；7经过迭代后，得到最优模型，实现跨库语音情感识别性能的提升。

全文数据：

权利要求：

百度查询： 河南工业大学 一种基于样本均衡和最大均值差异的跨库语音情感识别方法