腾讯科技(深圳)有限公司;清华大学深圳国际研究生院谢作通获国家专利权
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
龙图腾网获悉腾讯科技(深圳)有限公司;清华大学深圳国际研究生院申请的专利语言模型的预训练方法、结果推荐方法及相关装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114565104B 。
龙图腾网通过国家知识产权局官网在2025-08-15发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210193343.9，技术领域涉及：G06N20/00；该发明授权语言模型的预训练方法、结果推荐方法及相关装置是由谢作通;陈军华;邹嘉欣;侯嘉伟;颜强设计研发完成，并于2022-03-01向国家知识产权局提交的专利申请。
本语言模型的预训练方法、结果推荐方法及相关装置在说明书摘要公布了：本申请公开了一种语言模型的预训练方法、结果推荐方法及相关装置，该方法能够以MLM任务和义原预测任务为第一阶段的训练任务对语言模型进行预训练，使得语言模型学习到训练文本中词语的义原。在完成第一阶段的预训练后，该方法能够以对比学习为第二阶段的训练任务，采用基于目标领域的知识图谱确定的第二训练文本对语言模型进行预训练，从而将目标领域的知识图谱融入该语言模型的预训练过程，使语言模型能够学习到目标领域的知识图谱中的知识。由于本申请提供的方法能够在语言模型的预训练过程中引入不同的训练任务，因此可以确保语言模型的预训练效果较好。
本发明授权语言模型的预训练方法、结果推荐方法及相关装置在权利要求书中公布了：1.一种语言模型的预训练方法，其特征在于，所述方法包括： 对第一训练文本进行掩码处理，掩码处理后的所述第一训练文本中的部分词语被替换为掩码，所述词语包括一个或多个文字； 获取掩码处理后的所述第一训练文本中的文字对应的嵌入向量，所述嵌入向量包括：字向量、义原向量、段向量和位置向量，其中，所述义原向量是文字的义原的向量表示，且基于包含所述文字的各个参考词语的义原的并集确定； 以掩码语言模型任务和义原预测任务为第一阶段的训练任务，基于所述嵌入向量预训练语言模型，其中，所述义原预测任务用于预测所述第一训练文本中被替换为掩码的词语的义原，所述词语的义原为所述词语包括的各个文字的义原的交集； 以对比学习为第二阶段的训练任务，采用第二训练文本预训练所述语言模型，所述第二训练文本包括：原始文本，基于目标领域的知识图谱替换所述原始文本中的第一词语得到的正样本文本，以及基于所述目标领域的知识图谱替换所述原始文本中的第二词语得到的负样本文本。
如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人腾讯科技(深圳)有限公司;清华大学深圳国际研究生院，其通讯地址为：518057 广东省深圳市南山区高新区科技中一路腾讯大厦35层；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号