买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜北京火山引擎科技有限公司申请的专利语言模型评估的方法和装置、设备、介质和产品获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119337114B 。

龙图腾网通过国家知识产权局官网在2025-04-01发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411874120.4，技术领域涉及：G06F18/21；该发明授权语言模型评估的方法和装置、设备、介质和产品是由刘武利;赵楠;田志龙;尹小明;张晓亮;付尧设计研发完成，并于2024-12-18向国家知识产权局提交的专利申请。

本语言模型评估的方法和装置、设备、介质和产品在说明书摘要公布了：公开了语言模型评估的方法和装置、设备、介质和产品，涉及数据处理技术、大模型技术、大语言模型技术领域。该方法包括通过逐轮次地将每个问题分别输入到多个待评估语言模型中，来获取每个轮次的多个答案。该方法还包括通过对多个待评估语言模型的每个轮次的多个答案执行乱序处理，来获取每个轮次的多个乱序答案。该方法还包括由评估语言模型对多个待评估语言模型的每个轮次的多个乱序答案进行评测以获取每个轮次的多个得分。该方法还包括基于多个待评估语言模型的每个轮次的多个得分，确定每个待评估语言模型的性能总分。如此，能够逐轮次地观察各个待评估语言模型的问答表现，每轮次答案的顺序被打乱，能够防止用于打分的评估模型产生偏好。

本发明授权语言模型评估的方法和装置、设备、介质和产品在权利要求书中公布了：1.一种语言模型评估的方法，包括：通过逐轮次地将问题集中的每个问题分别输入到多个待评估语言模型中，来获取所述多个待评估语言模型的每个轮次的多个答案;通过对所述多个待评估语言模型的每个轮次的所述多个答案执行乱序处理，来获取所述多个待评估语言模型的每个轮次的多个乱序答案；由评估语言模型对所述多个待评估语言模型的每个轮次的所述多个乱序答案进行评测，以获取所述多个待评估语言模型的每个轮次的多个得分，所述评估语言模型与所述多个待评估语言模型不同；以及基于所述多个待评估语言模型的每个轮次的所述多个得分，确定所述多个待评估语言模型中的每个待评估语言模型的性能总分，其中所述评估语言模型包括第一评估语言模型和第二评估语言模型，所述评测包括：由所述第一评估语言模型对所述多个待评估语言模型的每个轮次的所述多个乱序答案进行打分，以获取所述多个待评估语言模型的每个轮次的第一多个得分；由所述第二评估语言模型对所述多个待评估语言模型的每个轮次的所述多个乱序答案进行打分，以获取所述多个待评估语言模型的每个轮次的第二多个得分；以及确定所述第一多个得分与所述第二多个得分之间的差异性。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京火山引擎科技有限公司，其通讯地址为：100190 北京市海淀区紫金数码园4号楼13层1309；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。