买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京长亭科技有限公司申请的专利一种多个异构模型协同推理的方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119358687B 。

龙图腾网通过国家知识产权局官网在2025-10-31发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411933370.0，技术领域涉及：G06N5/04；该发明授权一种多个异构模型协同推理的方法及装置是由陈宇鹏;王永振;龚杰;朱文雷;刘宇扬;张露;刘金钊;刘欣怡;张忍福;崔勤设计研发完成，并于2024-12-26向国家知识产权局提交的专利申请。

本一种多个异构模型协同推理的方法及装置在说明书摘要公布了：本发明公开了一种多个异构模型协同推理的方法及装置，涉及人工智能推理预测技术领域，方法包括：接收客户端提交的推理请求和提示词；根据推理请求的上下文信息和预设条件，选择多个匹配的异构模型同时进行Token预测；从全部异构模型的预测结果中选择最佳的预测结果，将最佳的预测结果与提示词拼接，若拼接结果未完成推理，则将拼接结果作为新的提示词提交至多个匹配的异构模型，继续迭代推理直至推理完成。本发明提高了整体推理性能和效率，增强了模型在特定领域执行任务的能力。

本发明授权一种多个异构模型协同推理的方法及装置在权利要求书中公布了：1.一种多个异构语言模型协同推理的方法，其特征在于，包括： 接收客户端提交的推理请求和提示词； 根据推理请求的上下文信息和预设条件，选择多个匹配的异构语言模型同时进行Token预测，包括：若所述推理请求中指示模型擅长领域的标签信息与多个异构语言模型声明的标签匹配，则将所述推理请求下发到所述多个异构语言模型，收到推理请求的所述多个异构语言模型同时进行推理预测，每个模型生成不超过预定数量的Token；若所述推理请求中不含有指示模型擅长领域的标签信息，则通过语言模型对所述提示词进行预测分类，将推理请求发送至与分类结果匹配的多个声明标签对应的异构语言模型，多个异构语言模型同时进行推理预测，每个异构语言模型生成不超过预定数量的Token；所述预设条件包括：模型的专业知识或擅长领域、推理成本和资源消耗、响应时间和实时性要求、预测Token的概率分布和置信度、特定Token的标记中的至少一项； 记录每个异构语言模型生成第个Token的过程中概率最大的Token的概率值 和选中的Token的概率值；记录每个异构语言模型生成第1个至第个Token 的过程中，概率最大的Token的平均概率和选中的Token的平均概率；若满足如下条 件之一，则该异构语言模型停止生成Token，结束本轮的推理预测： 条件1：偏离达到设定阈值； 条件2：偏离达到设定阈值； 条件3：偏离达到设定阈值； 条件4：已经生成预定数量的Token； 条件5：模型已经将本次推理标记为结束； 分别计算每个异构语言模型在条件1、条件2和条件3中的偏离量的平均值，将平均偏离量最小的模型的预测结果作为最佳的预测结果；将最佳的预测结果与所述提示词拼接，若拼接结果未完成推理，则将拼接结果作为新的提示词提交至所述多个匹配的异构语言模型，继续迭代推理直至推理完成。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京长亭科技有限公司，其通讯地址为：100101 北京市朝阳区天辰东路7号楼-2至8层101内北区6层602室；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。