龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：上海交通大学
摘要：本发明提供一种基于确定性算子共存的服务调度方法及其应用的GPU，所述基于确定性算子共存的服务调度方法包括：包括：利用一共存感知的延迟预测器预测每一个算子调度组的处理时间；利用一基于余量的请求控制器以轮循的方式调度多个深度学习服务的请求，在每一个轮次中，确定接收到的所有请求的处理顺序，并基于预测的所述每一个算子调度组的处理时间确定最佳的算子调度组；利用一分段模型执行引擎处理接收到的所述算子调度组中各请求的相应算子的计算。本发明保证了多个深度学习服务混合运行的服务质量保证，同时还提高了吞吐，提升了GPU利用率。
主权项：1.一种基于确定性算子共存的服务调度方法，其特征在于：包括：利用一共存感知的延迟预测器预测每一个算子调度组的处理时间；所述共存感知的延迟预测器的训练过程包括：将算子按其在延迟预测模型中的拓扑顺序编号，构建算子组；设置一输入特征向量，用于表征延迟预测模型训练时的算子组特征；采用多个延迟预测模型训练样本；基于所述延迟预测模型的训练结果，采用多层感知机模型提供共存感知的延迟预测；利用一基于余量的请求控制器以轮循的方式调度多个深度学习服务的请求，在每一个轮次中，确定接收到的所有请求的处理顺序，并基于预测的所述每一个算子调度组的处理时间确定最佳的算子调度组；所述基于余量的请求控制器获取服务质量延迟余量，基于按所述服务质量延迟余量升序的方式对所有请求进行排序，并在最小服务质量余量的约束下搜索算子组；利用一分段模型执行引擎处理接收到的所述算子调度组中各请求的相应算子的计算；所述分段模型执行引擎以独占方式工作。
全文数据：
权利要求：
百度查询： 上海交通大学 基于确定性算子共存的服务调度方法及其应用的GPU
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号