买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉苏州元脑智能科技有限公司申请的专利模型推理系统的效率评估方法和装置及电子设备获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN121434705B 。

龙图腾网通过国家知识产权局官网在2026-04-03发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202512053530.3，技术领域涉及：G06F18/21；该发明授权模型推理系统的效率评估方法和装置及电子设备是由张茂清;张斌;康真健设计研发完成，并于2025-12-31向国家知识产权局提交的专利申请。

本模型推理系统的效率评估方法和装置及电子设备在说明书摘要公布了：本申请公开了一种模型推理系统的效率评估方法和装置及电子设备，涉及人工智能技术领域，包括：获取目标模型对应的模型参数、目标模型的运行环境的框架参数和目标模型的计算节点的计算参数，并确定目标模型的目标应用场景；根据目标应用场景确定权重集合；基于模型参数、框架参数和计算参数各自对应的基准参考值，确定模型参数、框架参数和计算参数各自对应的标准值；利用权重集合和模型参数、框架参数和计算参数各自对应的标准值，计算得到目标模型的第一评分，其中，第一评分用于指示目标模型推理系统对应的效率。解决了相关技术中的大模型推理系统无法实现全局性能评价的技术问题，达到提高推理系统性能评价准确性的技术效果。

本发明授权模型推理系统的效率评估方法和装置及电子设备在权利要求书中公布了：1.一种模型推理系统的效率评估方法，其特征在于， 包括： 在确定需要部署模型推理系统的目标应用场景的情况下，获取至少一个目标模型各自对应的模型参数、所述至少一个目标模型各自的运行环境的框架参数和所述至少一个目标模型各自的计算节点的计算参数，其中，所述目标应用场景用于指示所述目标模型执行的任务； 根据所述目标应用场景确定权重集合，其中，所述权重集合用于指示所述模型参数、所述框架参数和所述计算参数各自对应的权重值； 基于所述模型参数、所述框架参数和所述计算参数各自对应的基准参考值，确定所述模型参数、所述框架参数和所述计算参数各自对应的标准值； 利用所述权重集合和所述至少一个目标模型各自对应的所述标准值，计算得到所述至少一个目标模型各自对应的第一评分，其中，所述第一评分用于指示目标模型推理系统对应的效率； 根据所述至少一个目标模型各自对应的所述第一评分确定部署的模型推理系统； 其中，获取目标模型对应的模型参数、所述目标模型的运行环境的框架参数和所述目标模型的计算节点的计算参数，包括： 将所述目标模型对应的生成效率、响应延迟和显存占用量确定为所述模型参数； 将所述运行环境对应的吞吐率、尾部延迟和量化支持度确定为所述框架参数； 将所述计算节点对应的聚焦峰值算力、内存带宽与能效比确定为所述计算参数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人苏州元脑智能科技有限公司，其通讯地址为：215000 江苏省苏州市吴中经济开发区综保区经一路1号8幢；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。