平安科技(深圳)有限公司陈闽川获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉平安科技(深圳)有限公司申请的专利音频生成模型的训练方法、装置、计算机设备及存储介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119132271B 。
龙图腾网通过国家知识产权局官网在2025-11-21发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411180091.1,技术领域涉及:G10L13/027;该发明授权音频生成模型的训练方法、装置、计算机设备及存储介质是由陈闽川;马骏;王少军设计研发完成,并于2024-08-26向国家知识产权局提交的专利申请。
本音频生成模型的训练方法、装置、计算机设备及存储介质在说明书摘要公布了:本申请涉及机器学习技术领域,公开了一种音频生成模型的训练方法、装置、计算机设备及存储介质。方法包括:获取待训练数据,待训练数据包括音频数据、第一数据和第二数据;将所述第一数据和第二数据进行融合,得到第三数据;构建多模态模型,其输入层用于接收音频数据、第一数据、第三数据,输出音频残差向量量化编码、所述第一数据对应的第一编码、所述第三数据对应的第二编码,其交叉注意力层用于融合第一编码、第二编码和音频残差向量量化编码,得到加权音频特征向量。对多模态模型训练,得到音频生成模型。使得模型能够学习到长文本、上下文的语义与声学特征,从而生成更自然悦耳、更符合内在语义与听觉感知特点的音频输出。
本发明授权音频生成模型的训练方法、装置、计算机设备及存储介质在权利要求书中公布了:1.一种音频生成模型的训练方法,包括: 获取待训练数据,所述待训练数据包括音频数据、第一数据和第二数据,所述第一数据为所述音频数据对应的语音转录文本数据和音乐音效数据,所述第二数据为所述音频数据对应的描述文本数据; 将所述第一数据和第二数据进行融合,得到第三数据; 构建多模态模型,所述多模态模型至少包括输入层、中间层和输出层,所述输入层包括预训练的大语言模型与预训练的音频编码器,所述输出层包括音频解码器,所述中间层至少包括一个交叉注意力层;所述预训练的大语言模型用于接收所述第一数据和所述第三数据,并进行编码得到所述第一数据对应的第一编码和所述第三数据对应的第二编码;所述预训练的音频编码器用于接收所述音频数据,并进行编码得到音频残差向量量化编码;所述交叉注意力层用于以所述第二编码作为查询向量、以所述第一编码作为键向量或值向量、以所述音频残差向量量化编码作为值向量或键向量进行交叉注意力计算,获取所述音频残差向量量化编码作为键向量或值向量所对应的加权音频特征向量;所述输出层用于接收加权音频特征向量,生成音频; 根据所述音频数据、第一数据和第三数据对所述多模态模型训练,得到音频生成模型。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人平安科技(深圳)有限公司,其通讯地址为:518057 广东省深圳市福田区福田街道福安社区益田路5033号平安金融中心23楼;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励