买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉湖南大学申请的专利一种针对深度学习推理服务系统的GPU调度优化方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115756789B 。

龙图腾网通过国家知识产权局官网在2025-07-25发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211456890.8，技术领域涉及：G06F9/48；该发明授权一种针对深度学习推理服务系统的GPU调度优化方法是由彭亚琼设计研发完成，并于2022-11-21向国家知识产权局提交的专利申请。

本一种针对深度学习推理服务系统的GPU调度优化方法在说明书摘要公布了：本发明新型公开了一种针对深度学习推理服务系统的GPU调度优化方法，包括针对深度学习推理服务系统作初始化处理；分配获取的处理后的系统对应包含的所有模型，启动预测线程，周期性执行吞吐量需求预测流程，针对预测线程分配得到的模型预测新周期内的吞吐量需求；启动调度线程，采用获得的预测吞吐量需求，在调度时刻执行基于反馈控制策略的吞吐量调整流程，优化系统各模型的实际吞吐量分配。本发明能够动态预测各模型服务在独占GPU时的吞吐量，有效适应复杂多变的工作负载；满足部署在同一台服务器上各模型请求的不同延时和吞吐量需求，弥补了现有模型服务系统中的任务调度策略的不足。

本发明授权一种针对深度学习推理服务系统的GPU调度优化方法在权利要求书中公布了：1.一种针对深度学习推理服务系统的GPU调度优化方法，包括如下步骤： S1.对调度优化参数进行初始化； 具体包括：系统定义的全局共享数据中包括了模型变量数组models[2][m]、模型状态索引si和与模型状态索引si对应的模型状态锁变量si_lock，为每个模型设置模拟队列和请求队列；其中，models[2][m]用于存储状态信息，存储状态信息包括各模型吞吐量需求的估算值和当前周期的实际吞吐量；m为模型数量，models[2][m]数组每列对应一个模型的状态信息，将models[2][m]中各元素和si的初始值设置为0，且si的取值限定为0或1；为避免预测过程和调度过程在模型状态信息上的读写冲突，调度过程仅从si值指定的行来读写models[2][m]数组中各列存储的模型状态，预测过程则从si′值指定的行来读写models[2][m]数组各列存储的模型状态，其中，si′＝si+1％2，％为求余符号；并行执行的预测过程个数为n个，并行执行的调度过程个数为k个，m、n、k均为自然整数，m取值需满足大于等于1，n、k的具体取值根据系统的硬件配置进行设定；每个模型的请求队列用于存储该模型等待响应的推理请求，模拟队列用于存储步骤S2预测流程涉及到的推理请求； S2.获取当前时刻下，深度学习推理服务系统的待处理任务，基于深度学习推理服务系统的系统参数，预测待处理任务中各个模型在新一轮周期内的吞吐量需求； 具体为采用如下步骤进行吞吐量需求的预测： A.将所有模型平均分配给各个预测过程：系统存在的模型个数为m个，并行执行的预测过程个数为n个，m、n均为自然数，m取值满足大于等于1，n的具体取值根据系统的硬件配置进行设定且大于等于1；前n-1个预测过程分配到的模型个数为个，为向上取整符号，最后1个预测过程分配到的模型个数为m％n个，其中％为取余操作； B.启动预测过程估算新一轮周期内所有模型的吞吐量需求：针对当前模型，预测过程假定该模型独占GPU计算资源，模拟调度该模型尚未完成的请求，计算模拟调度情况下，一个周期时长内能够响应成功的推理请求数，并将计算结果作为该模型在新一轮周期内的吞吐量需求； C.所有预测过程在完成估算任务后结束； D.获取模型状态锁变量si_lock，更新模型状态索引si为si＝si'，为调度过程发布新一轮周期内的模型状态数据，并在更新结束后释放模型状态锁变量； E.结束本轮预测流程； S3.开启新一轮周期，基于步骤S2得到的各个模型在新一轮周期内的吞吐量需求，在周期时长内对各个模型的吞吐量进行调整和分配； S4.当前周期结束后，重复步骤S2～S3，直至深度学习推理服务系统终止运行，完成针对深度学习推理服务系统的GPU调度优化。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人湖南大学，其通讯地址为：410082 湖南省长沙市岳麓区麓山南路2号湖南大学信息科学与工程学院517室；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。