买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:重庆大学;重庆医科大学
摘要:本发明公开一种通过迁移学习提升重庆方言语音识别的方法,步骤为:1获取语音数据;2得到语音频谱图;3对语音频谱图向量化,得到向量V;4获取transformer模型的输入X;5将参数Q、参数K、参数V输入到transformer模型的编码器中,得到编码器输出Y1和编码器输出Y2;6将编码器输出Y1和编码器输出Y2输入到transformer模型的解码器中,得到语音识别文本;8确定拼音BERT模型的输入x;9将输入x输入到拼音BERT模型中,得到语音识别结果。本发明通过pipeline设计模式,将ASR中的声学模型,语言模型独立开,增强了ASR模型选择的多样性。
主权项:1.一种通过迁移学习提升重庆方言语音识别的方法,其特征在于,包括以下步骤:1获取语音数据;2对语音数据进行傅里叶转换,得到语音频谱图;3利用VGG网络对语音频谱图向量化,得到向量v;4获取transformer模型的输入X;所述transformer模型包括编码器encoder1、编码器encoder2和解码器decoder;5对输入X进行转化,得到参数Q、参数K、参数V;6将参数Q、参数K、参数V输入到transformer模型的编码器encoder1和编码器encoder2中,分别得到编码器输出Y1和编码器输出Y2;7将编码器输出Y1和编码器输出Y2输入到transformer模型的解码器中,得到语音识别文本;8基于语音识别文本,确定拼音BERT模型的输入x;9将输入x输入到拼音BERT模型中,得到语音识别结果;向量v如下所示:v=VGGDFTA1式中,A为语音数据;transformer的输入X如下所示:X=PEDFTA+Fbankv2式中,PE为位置编码函数;参数Q、参数K、参数V如下所示:Q=XWQ,K=XWK,V=XWV3。
全文数据:
权利要求:
百度查询: 重庆大学 重庆医科大学 一种通过迁移学习提升重庆方言语音识别的方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。