买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：谷歌有限责任公司

摘要：一种方法400包括接收音频特征110和基于所述音频特征生成潜在语音表示212。该方法还包括为相应的潜在语音表示生成目标量化向量令牌312和目标令牌索引314。该方法还包括为对应的未掩蔽或掩蔽的潜在语音表示212U,212M生成对比上下文向量322，并基于对应的对比上下文向量和对应的目标量化向量令牌导出对比自监督损失355a。该方法还包括基于对比上下文向量生成高级上下文向量334，并且学习使用基于目标令牌索引的交叉熵损失355b来预测目标令牌索引。该方法还包括预测语音识别假设342和使用无监督损失355和监督损失365训练多语言ASR模型200。

主权项：1.一种用于训练多语言自动语音识别ASR模型200的联合无监督和有监督训练JUST框架300，其特征在于，所述JUST框架300包括：特征编码器311，所述特征编码器311被配置为：接收对应于语音话语302,304的音频特征110作为输入；以及在多个时间步中的每一个时间步生成潜在语音表示212；量化器310，所述量化器310被配置为：接收由所述特征编码器311在所述多个时间步中的每一个时间步生成的所述潜在语音表示212作为输入；以及在所述多个时间步中的每一个时间步，为所述特征编码器311生成的对应的潜在语音表示212生成目标量化向量令牌312和目标令牌索引314，其中，所述目标令牌索引314将所述对应的潜在语音表示212映射到存储在码本315中的所述目标量化向量令牌312；对比网络320，所述对比网络320被配置为：接收在掩蔽所述潜在语音表示212的子集之后由所述特征编码器311在所述多个时间步中的每一个时间步生成的所述潜在语音表示212作为输入；在所述多个时间步中的每一个时间步，生成对应的未掩蔽或掩蔽的潜在语音表示212u,212m的对比上下文向量322；以及在所述多个时间步中的每一个时间步，基于对应的所述对比上下文向量322和由所述量化器310为对应的所述潜在语音表示212生成的对应的所述目标量化向量令牌312，导出对比自监督损失355a；掩蔽语言建模MLM模块330，所述掩蔽语言建模MLM模块330被配置为：接收在所述多个时间步的每一个时间步由所述对比网络320生成的对比上下文向量322作为输入；在所述多个时间步中的每一个对比上下文生成高级上下文向量334；以及对于每个所述高级上下文向量334，基于由所述量化器310在对应的时间步生成的所述目标令牌索引314，学习使用交叉熵损失355b在对应的时间步预测所述目标令牌索引314；以及解码器340，所述解码器340被配置为：接收由所述MLM模块330在所述多个时间步中的每一个时间步生成的所述高级上下文向量334作为输入；以及预测所述话语302,304的语音识别假设342。其中所述多语言ASR模型200在以下各项上被训练：基于所述对比自监督损失355a和所述交叉熵355b的无监督损失355；和基于所预测的所述语音识别假设342和所述话语302,304的地面真实转录306的监督损失365。

全文数据：

权利要求：

百度查询： 谷歌有限责任公司 多语种ASR的联合无监督和监督训练