马上消费金融股份有限公司白安琪获国家专利权
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
龙图腾网获悉马上消费金融股份有限公司申请的专利语言模型的预训练方法、文本处理方法及相关设备获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116304081B 。
龙图腾网通过国家知识产权局官网在2025-08-29发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310015158.5，技术领域涉及：G06F16/36；该发明授权语言模型的预训练方法、文本处理方法及相关设备是由白安琪;蒋宁;夏粉;吴海英;肖冰设计研发完成，并于2023-01-04向国家知识产权局提交的专利申请。
本语言模型的预训练方法、文本处理方法及相关设备在说明书摘要公布了：本申请公开了一种模型的训练方法、文本处理方法及相关设备。所述方法包括：获取样本文本序列及其对应的关系标签，样本文本序列由第一语言文本和第二语言文本拼接而成，关系标签表示第二语言文本是否由第一语言文本翻译而成；对样本文本序列中目标词语进行掩码得到掩码文本序列，目标词语包括第一语言文本的第一词语和第二语言文本的第二词语，第一词语与第二词语词性相同；通过语言模型对掩码文本序列进行编码得到掩码表示向量；通过关系预测模型基于掩码表示向量预测目标词语对应的词语及第一语言文本与第二语言文本之间的关系；基于目标词语及其对应的预测词语、第一语言文本与第二语言文本之间的预测关系及关系标签，调整语言模型的模型参数。
本发明授权语言模型的预训练方法、文本处理方法及相关设备在权利要求书中公布了：1.一种语言模型的预训练方法，其特征在于，包括： 获取样本文本序列以及所述样本文本序列对应的关系标签，所述样本文本序列由第一语言文本和第二语言文本拼接而成，所述关系标签用于表示所述样本文本序列中的第二语言文本是否由第一语言文本翻译而成； 对所述样本文本序列中的目标词语进行掩码处理，得到掩码文本序列，所述目标词语包括所述第一语言文本中的第一词语和所述第二语言文本中的第二词语，所述第一词语与所述第二词语具有相同的词性； 通过语言模型对所述掩码文本序列进行编码处理，得到所述掩码文本序列的掩码表示向量； 通过关系预测模型基于所述掩码表示向量，预测所述目标词语对应的预测词语以及所述第一语言文本与所述第二语言文本之间的预测关系； 基于所述目标词语及其对应的预测词语、所述第一语言文本与所述第二语言文本之间的预测关系以及所述关系标签，调整所述语言模型的模型参数，以得到预训练语言模型。
如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人马上消费金融股份有限公司，其通讯地址为：401121 重庆市渝北区黄山大道中段52号渝兴广场B2栋4至8楼；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由AI智能生成
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号