买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉百度(美国)有限责任公司申请的专利跨语言语言模型的预训练方法和设备获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115204408B 。

龙图腾网通过国家知识产权局官网在2026-02-27发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210353397.7，技术领域涉及：G06N20/00；该发明授权跨语言语言模型的预训练方法和设备是由费洪亮;余璞轩;李平设计研发完成，并于2022-04-02向国家知识产权局提交的专利申请。

本跨语言语言模型的预训练方法和设备在说明书摘要公布了：本公开提出了一种计算机实现的对跨语言语言模型进行预训练的方法和设备，所述方法包括：响应于未达到停止条件，对于相关性排名批次的跨语言查询和文档对，利用相关性排名模型头，使用跨语言语言模型来预测相关性排名；使用已知的相关性排名和预测的相关性排名来更新跨语言语言模型；对于查询语言建模批次的跨语言查询和文档对，将具有多个分词且所述多个分词中的一些是掩码分词的查询和相应的文档输入跨语言语言模型以预测所述查询中的所述掩码分词；以及基于跨语言语言模型的预测结果与实际掩码分词的比较，来更新跨语言语言模型；以及响应于达到停止条件，输出预训练的跨语言语言模型。

本发明授权跨语言语言模型的预训练方法和设备在权利要求书中公布了：1.一种计算机实现的对跨语言语言模型进行预训练的方法，所述方法包括： 响应于未达到停止条件，执行以下步骤： 对于相关性排名批次的跨语言查询和文档对，利用相关性排名模型头，使用所述跨语言语言模型来预测相关性排名，其中所述相关性排名批次包括至少一个正样本跨语言查询和文档对和至少一个负样本跨语言查询和文档对，在所述正样本跨语言查询和文档对中，查询和文档的语言不同且文档与查询相关；在所述负样本跨语言查询和文档对中，查询和文档的语言不同且文档与查询无关，所述相关性排名是对于文档与相应查询之间的相关度的排名，所述跨语言语言模型包括全局加滑动窗注意力，针对注意力的全局窗用于查询分词，并且针对注意力的滑动窗用于至少一些文档分词； 使用已知的相关性排名和预测的相关性排名来更新所述跨语言语言模型； 对于查询语言建模批次的跨语言查询和文档对，将具有多个分词且所述多个分词中的一些是掩码分词的查询和相应的文档输入所述跨语言语言模型以预测所述查询中的所述掩码分词，其中在所述查询语言建模批次中查询和文档的语言不同且文档与查询相关；以及 基于所述跨语言语言模型的预测结果与实际掩码分词的比较，来更新所述跨语言语言模型；以及 响应于达到停止条件，输出预训练的跨语言语言模型。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人百度(美国)有限责任公司，其通讯地址为：美国加利福尼亚州桑尼维尔波尔多道1195；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。