买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉杭州网易云音乐科技有限公司申请的专利语言模型训练方法、文案生成方法以及相关设备获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114048289B 。

龙图腾网通过国家知识产权局官网在2025-07-25发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202111340858.9，技术领域涉及：G06F16/334；该发明授权语言模型训练方法、文案生成方法以及相关设备是由费婷婷;王嘉璐;陈鸿翔;罗川江设计研发完成，并于2021-11-12向国家知识产权局提交的专利申请。

本语言模型训练方法、文案生成方法以及相关设备在说明书摘要公布了：本公开的实施方式涉及文本处理技术领域，更具体地，本公开的实施方式涉及语言模型训练方法、文案生成方法以及相关设备。语言模型训练方法包括：获取构成训练文本的文本元素序列，文本元素序列分为拼接在一起的源段序列和目标段序列，文本元素序列以序列开始标记开头，源段序列和目标段序列均以序列结束标记结尾；对文本元素序列添加掩码；将带有掩码的文本元素序列输入语言模型的变换器网络，通过变换器网络对文本元素序列中的每个文本元素编码成带有上下文信息的向量；利用表征向量得到掩码的预测值，并根据预测值和真实值之间的交叉损失函数对变换器网络进行训练，使其收敛，得到语言模型。本公开的技术方案能够增强语言模型的可扩展性。

本发明授权语言模型训练方法、文案生成方法以及相关设备在权利要求书中公布了：1.一种语言模型训练方法，其特征在于，包括： 获取构成训练文本的文本元素序列，所述文本元素序列分为拼接在一起的源段序列和目标段序列，所述文本元素序列以序列开始标记开头，所述源段序列和目标段序列均以序列结束标记结尾； 根据所述序列开始标记和序列结束标记生成适用于seq2seq模型、单向语言模型或双向语言模型中的至少一种任务的掩码矩阵，对语言模型的多层变换器网络添加所述掩码矩阵；所述语言模型的多层变换器网络由多层变换器块依序连接而成，相邻两层变换器块中前一层变换器块的输出作为当前层变换器块的输入； 按照设定规则对所述文本元素序列添加掩码； 将带有掩码的所述文本元素序列输入所述语言模型的多层变换器网络，通过带有掩码矩阵的所述多层变换器网络对所述文本元素序列中的每个文本元素编码成带有上下文信息的向量，并输出表征向量； 利用所述表征向量得到所述掩码的预测值，并根据所述预测值和真实值之间的交叉损失函数对所述多层变换器网络进行训练，使其收敛，得到所述语言模型。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人杭州网易云音乐科技有限公司，其通讯地址为：310052 浙江省杭州市萧山区钱江世纪城奔竞大道353号杭州国际博览中心A座1201室；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。