买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜天翼安全科技有限公司申请的专利推理系统、推理方法、推理装置、存储介质及程序产品获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119129755B 。

龙图腾网通过国家知识产权局官网在2025-04-25发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411604667.2，技术领域涉及：G06N5/04；该发明授权推理系统、推理方法、推理装置、存储介质及程序产品是由高芷乔;安全;张敏;刘丹设计研发完成，并于2024-11-12向国家知识产权局提交的专利申请。

本推理系统、推理方法、推理装置、存储介质及程序产品在说明书摘要公布了：本发明公开了推理系统、推理方法、推理装置、存储介质及程序产品，该推理系统包括：大语言模型参数仓库，用于提供各种大语言模型对应的共享参数和微调参数的下载服务，共享参数和微调参数是基于LoRA大语言模型微调范式将对应大语言模型中的参数拆分为供多用户共享的预训练参数和针对用户需求对共享参数进行微调的参数；多个资源池，资源池包括多个推理节点，推理节点加载有共享参数和微调参数时作为执行节点；控制节点，用于从多个资源池中调度一个能执行推理请求对应推理任务的执行节点作为实际执行节点，将推理任务发送给实际执行节点，使实际执行节点根据推理任务中携带的输入数据实例化为大语言模型来执行推理任务。

本发明授权推理系统、推理方法、推理装置、存储介质及程序产品在权利要求书中公布了：1.一种推理系统，其特征在于，包括：大语言模型参数仓库，用于提供各种大语言模型对应的共享参数和微调参数的下载服务，所述共享参数和所述微调参数是基于LoRA大语言模型微调范式将对应大语言模型中的参数拆分为供多用户共享的预训练参数和针对用户需求对所述共享参数进行微调的参数；多个资源池，与多种大语言模型一一对应；所述资源池包括多个推理节点，所述推理节点加载有所述共享参数和所述微调参数时作为执行节点；控制节点，用于根据用户的推理请求，从所述多个资源池中调度一个能执行所述推理请求对应推理任务的执行节点作为实际执行节点，并将所述推理任务发送给所述实际执行节点，使所述实际执行节点根据所述推理任务中携带的输入数据实例化为大语言模型来执行所述推理任务；其中，所述推理请求中携带有所述用户请求使用的大语言模型的模型标识及对应的输入数据，所述模型标识用于确定待推理用户需要使用的大语言模型的类型，实例化所述实际执行节点包括训练所述微调参数，训练所述微调参数时，所述实际执行节点中的共享参数被冻结；所述控制节点包括调度组件，所述调度组件用于根据所述每个资源池中执行节点的负载信息，计算所述每个资源池中执行节点的平均负载量；判断所述平均负载量是否在对应资源池中执行节点的负载范围内，若不在所述负载范围内，则对所述资源池中的执行节点进行扩容或缩容；其中，若所述平均负载量大于所述负载范围的上限值则扩容，若所述平均负载量小于所述负载范围的下限值则缩容；计算所述每个资源池中预备节点在对应资源池中的实际占比；判断所述实际占比是否与对应资源池中预备节点的期望占比之间的误差在设定范围；若为否则对所述资源池中的预备节点进行扩容或缩容；其中，若所述实际占比大于所述期望占比则缩容，若所述实际占比小于所述期望占比则扩容；所述推理节点在预先加载所述共享参数后作为所述预备节点；所述预备节点在加载所述微调参数后转换为所述执行节点，所述执行节点在卸载所述微调参数后转换为所述预备节点。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人天翼安全科技有限公司，其通讯地址为：215133 江苏省苏州市相城区高铁新城青龙港路286号长三角国际研发社区启动区7幢；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。