首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

一种基于Zipformer的端到端发音评测方法 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

申请/专利权人:石河子大学

摘要:本发明提供了一种基于Zipformer的端到端发音评测方法,对传统基于语音识别模型进行发音评测的方法进行了深度改良和融合,采用Zipformer模型用作口语评测的基本框架,将对齐算法集成到声学模型中,以目标文本作为模型的额外输入条件,可解决端到端的预测每个音素误读的问题。本发明通过引入高效、高精度的音素级识别模型,将目标文本先验信息有效融入识别模型的解码过程中,显著提高模型在利用目标文本先验信息方面的效率,进而提升语音评测性能的优化潜力,同时设计普通话发音评分规则,实现对学生发音水平的全面评估。

主权项:1.一种基于Zipformer的端到端发音评测方法,其特征在于,包括:获取中文公开数据集,并采集目标年龄段的学生的朗读数据集;所述中文公开数据集和所述朗读数据集均包括音频文件、目标文本和音素词典;以音素词典为替换规则,对所述中文公开数据集和所述朗读数据集进行数据标注,并采用文本替换和特征变换技术对所述中文公开数据集和所述朗读数据集进行数据扩充处理,得到处理后的中文公开数据集和朗读数据集;提取所述处理后的中文公开数据集和朗读数据集的音频数据中的Fbank特征,并根据所述Fbank特征生成用于第一数据json对象集合以及第二数据json对象集合;基于所述第一数据json对象集合构建基于Zipformer的端到端音素级语音识别模型;以所述第二数据json对象集合的输入,将Needleman-Wunscha对齐算法嵌入到构建好的端到端音素级语音识别模型的解码器中,并在输出结果中保留每个音节的预测置信度,进而构建音素错误检测模型;根据所述音素错误检测模型的输出序列以及音素词典,构建融合音素误读程度、多音素、少音素和韵律的评分规则;将待评估对象的朗读音频输入至音素错误检测模型,得到输出结果,并基于所述评分规则和所述输出结果判断所述待评估对象的音节误读情况。

全文数据:

权利要求:

百度查询: 石河子大学 一种基于Zipformer的端到端发音评测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。