买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜杭州点存科技有限公司申请的专利一种基于量化推理的模型效果评估系统及方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119292892B 。

龙图腾网通过国家知识产权局官网在2025-04-01发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411823585.7，技术领域涉及：G06F11/34；该发明授权一种基于量化推理的模型效果评估系统及方法是由李浩天;舒浙徽;郝增;夏建超设计研发完成，并于2024-12-12向国家知识产权局提交的专利申请。

本一种基于量化推理的模型效果评估系统及方法在说明书摘要公布了：本发明公开了一种基于量化推理的模型效果评估系统及方法，涉及量化推理技术领域；该评估系统包括的功能模块为：模型加载与预处理模块、量化处理模块、推理过程模拟模块、性能评估模块以及结果反馈模块；其技术要点为：根据情况实施动态的调整优化策略，对各类测试集进行多次模拟，通过计算后实现准确的判断模型性能是否稳定；一旦检测到综合效果估量超出误差范围，则触发调整优化流程，针对权重分布进行优化，确保量化参数的合理性；若问题依旧存在，则进一步调整模型精度，逐步逼近最佳性能点；此过程中，还引入动态调整公式，实现自动化的调整精度调整的幅度，既保证了调整的及时性，又避免了过度调整带来的不稳定。

本发明授权一种基于量化推理的模型效果评估系统及方法在权利要求书中公布了：1.一种基于量化推理的模型效果评估系统，其特征在于，该评估系统包括：模型加载与预处理模块，加载原始大语言模型，并进行预处理；量化处理模块，对大语言模型进行权重分布分析判定，依据判定结果匹配量化方法；同步运行预先构建的量化方法库，基于任务特性要求分配高、低精度的量化方法；推理过程模拟模块，构建推理框架，集成量化后的大语言模型，并运行预定义的测试集进行推理，记录推理指标数据集；性能评估模块，依据每类测试集进行推理模拟后得到的推理指标数据集，搭建线形聚合计算模型，生成每类测试集对应的综合效果估量；结果反馈模块，在对各类测试集进行N次模拟后，得到N个综合效果估量，当综合效果估量存在处于误差量范围外的条件下，执行调整优化策略；在对各类测试集进行N次模拟时，其中的N为正整数，且N的取值至少为3；误差量范围的设定过程如下：计算N个综合效果估量的平均值，误差量为该平均值的0.1％，则误差量范围为：[Lp_avg-0.1％*Lp_avg，Lp_avg+0.1％*Lp_avg]，其中，Lp_avg表示N个综合效果估量的平均值；调整优化策略的过程如下：获取对应测试集类型，对权重分布进行优化处理；若权重分布均匀，则利用中点量化算法进行优化；若权重分布非均匀，则利用聚类算法进行优化；当优化处理后，还出现综合效果估量存在处于误差量范围外时，则对模型精度进行调整处理；若为高精度，则触发阶梯式增加精度指令；若为低精度，则触发阶梯式降低精度指令；若为高、低精度混合，则同步触发阶梯式增加精度指令和阶梯式降低精度指令；直至进行N次模拟后，综合效果估量始终处于误差量范围内为止；其中，触发阶梯式增加精度指令或阶梯式降低精度指令时，每次增加或降低的精度值均相同，依据原定的阶梯精度调整值和综合效果估量超过误差量范围外的最大差值，构建动态调整公式，得到每次调整后的阶梯精度值： 式中，A表示每次调整后的阶梯精度值，P表示原定的阶梯精度调整值，k表示调整系数，取值范围为[0，1]，Δmax为综合效果估量超过误差量范围外的最大差值，oi表示预定的误差界限。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人杭州点存科技有限公司，其通讯地址为：310020 浙江省杭州市上城区九环路9号4号楼9楼911室；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。