买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京爱语吧科技有限公司

摘要：本发明提供了一种基于语音的日语发音评测方法和系统，通过将目标用户对已知的句子文本的发音语音音频输入训练好的双层深度神经网络模型中完成对输入音频文件的日语发音评测。由语音采集系统采集到的目标用户的音频文件首先输入用于实现输入语音文本和已知目标文本之间的对齐的第一层深度神经网络，对齐后的语音文本被拆分为以单词为单位的音频文件进行输出。将所述以单词为单位的音频文件输入到第二层深度神经网络中进行语音识别和测评的操作，得到目标句子单词的发音正确率；基于所述单词的发音正确率对目标用户的日语发音进行评分，得到目标分数。消除由于目标用户重读，连读等发音习惯的主观影响，大大提高了评分的准确率。

主权项：1.一种基于语音的日语发音测评方法，其特征在于，所述方法包括：将目标用户对已知日语文本的日语发音音频进行预处理，作为输入语音文件；构建双层深度神经网络模型，对RNN中用于语音识别的可训练参数进行训练；以已经训练完成的所述双层深度神经网络模型为基础，将预处理后的所述输入语音文件输入训练好的第一层深度神经网络模型，进行所述输入语音文件和已知目标文本之间的对齐操作，对齐后的语音文件被分割为以单词为单位的语音文件；所述以单词为单位的语音文件继续输入已训练好的第二层深度神经网络模型，对输入的所述以单词为单位的语音文件进行假名音素发音上的语音识别，完成假名发音的准确度计算；基于所有所述单词的发音准确度计算后，对所述目标用户的输入语音文件进行评分，得到目标分数，所述目标分数用于对所述目标用户的发音正确度进行评测；所述双层深度神经网络模型由执行对齐操作的所述第一层深度神经网络模型和执行语音识别操作的所述第二层深度神经网络模型组成；所述第一层深度神经网络模型使用BiLSTM作为编码器，CTC算法和viterbi对齐算法作为解码器，所述第二层深度神经网络模型使用CNN进行卷积操作，使用BiLSTM作为编码器，使用基于attention机制的RNN作为解码器，所述第一层深度神经网络模型和第二层深度神经网络模型在TensorFlow上进行训练；所述预处理后的输入语音文件输入所述第一层深度神经网络模型实现语音文件和已知目标文本的对齐操作，具体包括以下步骤：通过MFCC完成语音特征提取后绘制的特征谱图像输入双向的BiLSTM编码器进行编码，编码后可以实现将所述目标用户输入的语音信号特征谱编码到神经网络的隐藏层；然后使用CTC模型对编码后的所述隐藏层语音向量进行解码操作，具体包括以下操作：首先根据编码后的结果与已知目标文本，计算所有可能的输出路径的概率；接着使用viterbi对齐模型在CTC模型中输出的所有可能路径中寻找概率最高的输出路径，从而实现所述输入语音文件和已知目标文本的对齐；完成对齐后的语音文件以单词为单位进行分割，最后第一层深度神经网络模型以单词语音文件输出。

全文数据：

权利要求：

百度查询： 北京爱语吧科技有限公司 一种基于语音的日语发音评测方法和系统