买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：天津大学

摘要：本发明公开多口音语音识别的具有域对抗训练的自适应注意力方法。首先建立基于Transformer的对抗端到端网络，使用细分类的领域对抗训练对模型进行预训练，使模型具有更好的口音鲁棒性，产生口音鲁棒的语音识别特征；通过外部口音分类网络提取每条语音的口音判别性特征；建立基于自注意力机制的自适应模块，加载用对抗训练预训练好的Transformer模型，将生成器生成的特征和使用口音分类网络提取的口音特征一同输入到自适应模块中进生成的自适应特征输入到解码器中，推理时加载口音特征提取网络、自适应模块和语音识别网络。本发明提高多口音语音识别性能。此外，所提出的方法对看不见的口音有很好的性能提升。

主权项：1.多口音语音识别的具有域对抗训练的自适应注意力方法，其特征在于，包括如下步骤：1训练基于Transformer的对抗训练语音识别网络：首先使用对抗训练进行Transformer模型的预训练，领域对抗训练通过使用梯度翻转层，同时优化生成器和分类器，最小化语音识别和口音分类的损失，使得生成器和分类器优化目标对抗，促进生成器生成更有泛化性的特征；2训练口音分类网络，提取口音判别性特征训练基于Transformer的口音分类器，使用Transformer的编码器后接线性层计算交叉熵损失来进行口音分类，并把训练好的Transformer的编码器输出作为口音判别性特征，为达到更好的分类效果，该模型经过同数据集的语音识别预训练；3使用自适应模块进行语音识别模型的口音自适应使用DAT进行预训练后，Transformer编码器输出特征中仍具有一些口音的判别性，所构建的基于注意力的自适应模块，通过将输入的语音同时也输入到口音分类网络中，提取口音判别性特征，随后将判别性特征输入到自适应模块里，通过权重计算与主体网络的编码器输出特征融合以达到自适应的目的；所述自适应模块由口音提取器网络、作为域不变特征生成器的编码器、作为域鉴别器的口音分类器、梯度反向层和ASR任务的解码器组成；所述步骤3中，具体步骤如下：1对口音提取器进行预训练，用于输出稳定的用于口音判别性特征；2冻结口音提取器的参数，通过DAT训练端到端的ASR网络，直到E2E网络收敛，判别器中口音分类的准确率不再下降，保持在一个较低的值；DAT整个流程的损失函数为：Eθf，θy,θc＝LASRθf,θy-λLCθf,θc其中：θf，θy，θc，分别是生成器G，解码器D，口音分类器C的权重矩阵；LASR为Transformer模型的损失函数，Lc是口音分类模型的损失函数：LASR＝1-γLATT+γLCTC其中：LATT为注意力的损失函数，LCTC为基于神经网络的时序类分类损失函数，γ为CTC损失函数的权重系数；其优化策略为： 3冻结口音鉴别器的参数，并应用基于注意力的方法来优化DAT预训练的语音识别模型的识别效果，整个适应过程描述为如下公式： 其中：⊙表示元素级积，attva,θa表示注意力网络；使用多头自注意力，并使用线性层作为位置编码层，这允许网络在特定口音嵌入的不同位置共同关注来自不同表示子空间的口音信息。

全文数据：

权利要求：

百度查询： 天津大学 多口音语音识别的具有域对抗训练的自适应注意力方法