买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：谷歌有限责任公司

摘要：本发明涉及使用跨语言音素映射的语音生成。在各种实施方式中，所述自然语言文本数据流包括采用主要语言的主要语言部分以及不是采用所述主要语言的次要语言部分。可以从通用数据集中的一组音素确定对应于所述次要语言部分的音素。可以将这些音素映射回所述主要语言的一组音素。可以使用与所述主要语言相关联的音素生成这些音素的音频数据，以读出所述自然语言文本数据流的所述次要语言部分。

主权项：1.一种由一个或多个处理器实现的方法，所述方法包括：接收自然语言文本数据流，所述自然语言文本数据流将被转换成计算机生成的语音以经由计算装置的一个或多个扬声器渲染给用户，其中，所述自然语言文本数据流包括采用分配给所述用户的主要语言的主要部分，并且其中，所述自然语言文本数据流包括采用次要语言而不是采用分配给所述用户的所述主要语言的次要语言部分；处理所述自然语言文本数据流的所述主要部分，以确定通用音素集中的第一组音素，其中，所确定的第一组音素对应于主要语言部分，以及其中，所述通用音素集包括对于多种语言通用的一个或多个音素，所述多种语言包括所述主要语言、所述次要语言和第三语言；处理所述自然语言文本数据流的采用所述次要语言而不是采用所述主要语言的所述次要部分，以确定所述通用音素集中的第二组音素，其中，所确定的第二组音素对应于次要语言部分；确定所述自然语言文本数据流的所述次要语言部分的所述次要语言是否被分配为所述用户的熟悉语言；响应于确定所述次要语言被分配为所述用户的熟悉语言：使用被训练为使用特定于多种语言中的每一种的音素生成人类语音的神经网络模型来处理所确定的所述通用音素集中的第一组音素和所确定的所述通用音素集中的第二组音素两者，以生成模仿说所述第一组音素和所述第二组音素的给定人类话音的音频数据，其中所述神经网络模型是基于多个训练实例来训练的，所述多个训练实例均包括来自多语言用户的对应跨语言所说话语和与所说话语相对应的对应跨语言音素，其中，与采用所述主要语言的所述主要部分相对应的使用经训练的神经网络模型生成的所述音频数据的主要部分是通过采用所述主要语言的所述给定人类话音读出的，以及其中，与采用所述次要语言的所述次要部分相对应的使用经训练的神经网络模型生成的所述音频数据的次要部分是通过采用所述次要语言的所述给定人类话音读出的，响应于确定所述次要语言没有被分配为所述用户的熟悉语言：将与所述次要语言部分相对应的所确定的第二组音素映射到采用所述主要语言的一个或多个相关音素；以及处理所确定的所述通用音素集中的第一组音素和采用所述主要语言的所述相关音素，以生成模仿说所述第一组音素和所述相关音素的所述给定人类话音的替代音频数据；以及使所述音频数据或所述替代音频数据经由所述计算装置的所述一个或多个扬声器被渲染。

全文数据：

权利要求：

百度查询： 谷歌有限责任公司 使用跨语言音素映射的语音生成