买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜中信建投证券股份有限公司申请的专利一种针对大模型推理请求的资源调度方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119311423B 。

龙图腾网通过国家知识产权局官网在2025-03-28发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411837054.3，技术领域涉及：G06F9/50；该发明授权一种针对大模型推理请求的资源调度方法及装置是由杨帆;徐政钧;谷航宇;王浩洋;刘逸雄;潘建东设计研发完成，并于2024-12-13向国家知识产权局提交的专利申请。

本一种针对大模型推理请求的资源调度方法及装置在说明书摘要公布了：本发明实施例提供了一种针对大模型推理请求的资源调度方法及装置，涉及计算机技术领域，该方法应用于服务器集群中的调度服务器，服务器集群还包括多个目标服务器，每一目标服务器均部署有多个大模型，该方法包括：确定各个目标推理请求以及每一目标推理请求的计算资源需求量；将每一目标推理请求的计算资源需求量、每一目标服务器当前的剩余资源量和每一目标服务器的服务器性能排序，代入目标函数，以确定每一目标推理请求的分配结果；针对每一目标推理请求，将该请求分配至分配结果表征的目标服务器，以使得该目标服务器按照对应计算资源需求量进行资源调度并处理，以实现优化服务器集群中服务器的计算资源的使用情况的目的。

本发明授权一种针对大模型推理请求的资源调度方法及装置在权利要求书中公布了：1.一种针对大模型推理请求的资源调度方法，其特征在于，应用于服务器集群中的调度服务器，所述服务器集群还包括多个目标服务器，每一目标服务器均部署有多个大模型，所述方法包括：确定待进行资源调度的各个目标推理请求；确定每一目标推理请求各自对应的计算资源需求量；其中，每一目标推理请求对应的计算资源需求量是利用预先训练的资源预测模型预测得到的、该目标推理请求被响应处理时所需利用的计算资源的资源量；每一目标推理请求对应的计算资源需求量包括：用于处理该目标推理请求的候选服务器所需具有的显卡参数、显存参数、网络带宽，以及用于处理该目标推理请求的大模型在所述候选服务器中运行时的模型吞吐量；将每一目标推理请求对应的计算资源需求量、每一目标服务器当前的剩余资源量，以及预先确定的每一目标服务器在所述服务器集群中的服务器性能排序，代入目标函数，以求解得到每一目标推理请求的分配结果；针对每一目标推理请求，将该目标推理请求分配至该目标推理请求的分配结果所表征的目标服务器，以使得接收到该目标推理请求的目标服务器，确定该目标推理请求对应的计算资源需求量，并按照所确定的计算资源需求量为所部署的大模型进行资源调度，以通过所部署于的大模型处理该目标推理请求；其中，每一目标推理请求的分配结果表征用于响应该目标推理请求的大模型所部署于的目标服务器；所述目标函数为： ； 表征所述服务器集群中目标服务器的总数；表征各个目标推理请求的总数；表征第个目标服务器在所述服务器集群中的服务器性能排序；表征第个目标推理请求；用于表征第个目标推理请求对应的计算资源需求量的行向量，中每一列表征一项计算资源需求量；表征第个目标服务器当前的剩余资源量；表征关于各个目标服务器对应的目标比例值的均值，每一目标服务器对应的目标比例值为该目标服务器分配到的目标推理请求所需的计算资源需求量的总量与该目标服务器当前的剩余资源量的比值；在的值为1时，表征所述第个目标推理请求被分配至所述第个目标服务器进行处理，在的值为0时，表征所述第个目标推理请求未被分配至所述第个目标服务器进行处理；表征在所述服务器集群中各目标服务器的资源利用情况符合预定的资源利用需求的情况下，使得值最小时，得到每一目标推理请求的分配结果；表征第一权重；表征第二权重；在所述第一权重大于所述第二权重时，表征以资源分配均衡优先作为所述资源利用需求的分配目标，在所述第一权重小于所述第二权重时，表征以服务器性能优先作为所述资源利用需求的分配目标；所述第一权重和所述第二权重为用户预先设置的。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中信建投证券股份有限公司，其通讯地址为：100010 北京市东城区朝内大街188号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。