买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉上海可深信息科技有限公司申请的专利一种深度学习算法模型推理调度引擎系统及方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116204282B 。

龙图腾网通过国家知识产权局官网在2025-11-21发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211126163.5，技术领域涉及：G06F9/48；该发明授权一种深度学习算法模型推理调度引擎系统及方法是由朱新潮;曾国卿;刘佳宁;李威;胡振宏;刘亚健设计研发完成，并于2022-09-16向国家知识产权局提交的专利申请。

本一种深度学习算法模型推理调度引擎系统及方法在说明书摘要公布了：本发明提供了一种深度学习算法模型推理调度引擎系统及方法，包括：模型管理模块，实现深度学习算法模型的加载、卸载和维护统一管理，加载的方式以算法逻辑为基本单位；推理计算模块，为深度学习算法模型设置优先级队列集，优先级队列集的处理逻辑为：空闲等待、超时检查、优先级检查和等待超时时间；根据优先级队列集中优先级对推理节点进行调度，推理节点设置超时时间和时间戳，进行推理计算；调度模块，对算法逻辑调用的深度学习算法模型进行动态管理和调度，异步调度推理节点。本发明采用优先级队列集实现了不同的算法逻辑具有不同的优先级，提高了系统的容错性和健壮性；设置时间戳，提高了推理节点的处理效率，实现了算法逻辑的快速响应。

本发明授权一种深度学习算法模型推理调度引擎系统及方法在权利要求书中公布了：1.一种深度学习算法模型推理调度引擎系统，其特征在于，包括： 模型管理模块，实现深度学习算法模型的加载、卸载和维护统一管理，加载的方式以算法逻辑为基本单位； 推理计算模块，为深度学习算法模型设置优先级队列集，优先级队列集的处理逻辑为：空闲等待、超时检查、优先级检查和等待超时时间；根据优先级队列集中的优先级对推理节点进行调度，推理节点设置超时时间和时间戳，进行推理计算； 其中，空闲等待：若深度学习算法模型对应的优先级队列集中无任何推理节点，则深度学习算法模型进入等待状态，设置待批量处理推理节点集，初始为空；直到外界调用者将推理节点加入到优先级队列集中并通知，深度学习算法模型进入工作状态； 超时检查：首先，按照优先级从高到低的顺序，循环检查一遍每个优先级队列中的推理节点，根据推理节点的超时时间和加入时间戳，计算得到推理节点的等待时间，若等待时间已经超过推理节点的超时时间，则将超时推理节点加入到待批量处理推理节点集；若在循环过程中，或循环一遍后，待批量处理推理节点集中推理节点的个数已经达到单次最大批量处理数量，则将待批量处理推理节点集交给深度学习算法模型进行批量推理计算； 优先级检查：若超时检查结束后，待批量处理推理节点集中推理节点的个数未能达到单次最大批量处理数量，则按照优先级从高到低的顺序，循环检查各队列中有无待处理推理节点；若有，则将待处理推理节点加入到待批量处理推理节点集；若在循环过程中，或循环一遍后，待批量处理推理节点集中推理节点的个数已经达到单次最大批量处理数量，则将待批量处理推理节点集交给深度学习算法模型进行批量推理计算； 等待超时时间：若经过超时检查和优先级检查，待批量处理推理节点集中推理节点的个数仍未能达到单次最大批量处理数量，则检查待批量处理推理节点集中所有推理节点，根据推理节点的超时时间和加入时间戳，计算得到所述推理节点的等待时间，若等待时间超过所述推理节点的超时时间，则说明待批量处理推理节点集中，已经存在超时推理节点，将待批量处理推理节点集交给深度学习算法模型进行批量推理计算；若循环一次后，无超时推理节点，取其中等待时间的最小值，进行等待；若在等待过程中收到外界通知，则重复超时检查、优先级检查，若等待结束未收到外界加入新的推理节点的通知，则将待批量处理推理节点集交给深度学习算法模型进行批量推理计算； 调度模块，对算法逻辑调用的深度学习算法模型进行动态管理和调度，异步调度推理节点。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人上海可深信息科技有限公司，其通讯地址为：200000 上海市徐汇区浦北路7号中星城1909号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。