龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：亚马逊技术股份有限公司
摘要：描述了用于托管机器学习模型的技术。在一些情况下，执行了一种方法：接收使用特定机器学习模型执行推理的请求；确定要将所述请求路由到的主机组，所述主机组托管包括所述特定机器学习模型的多个机器学习模型；确定到所确定的主机组的路径；基于所确定的路径来确定所述主机组中的特定主机以执行对所述请求的分析，所述特定主机在存储器中具有所述特定机器学习模型；将所述请求路由到所述主机组的所述特定主机；使用所述特定主机对所述请求执行推理；以及向请求者提供所述推理的结果。
主权项：1.一种计算机实现的方法，包括：接收使用特定机器学习模型执行推理的请求；确定要将所述请求路由到的主机组，所述主机组用于托管包括所述特定机器学习模型的多个机器学习模型；确定到所确定的主机组的路径；基于所确定的路径来确定所述主机组中的特定主机以执行对所述请求的分析，所述特定主机在存储器中具有所述特定机器学习模型；将所述请求路由到所述主机组中的所述特定主机；使用所述特定主机对所述请求执行推理；以及向请求者提供所述推理的结果，其中所述主机组是自动缩放组，所述自动缩放组基于其托管的机器学习模型的吞吐量对主机数量按比例缩放，其中所述方法包括：当新主机被添加到所述自动缩放组以增加所述自动缩放组中的主机数量时，执行以下步骤：向多个主机组发送针对每个主机已缓存的机器学习模型的列表以及所述列表中的机器学习模型的利用率统计信息的请求；接收每个主机已缓存的机器学习模型的所述列表以及所述列表中的机器学习模型的利用率统计信息；基于所述列表和所述列表中的机器学习模型的所述利用率统计信息来确定要将哪些机器学习模型从模型工件存储装置加载到所述新主机中，所述模型工件存储装置是可用的且可缩放的数据存储区；以及从所述模型工件存储装置获取所确定的机器学习模型。
全文数据：
权利要求：
百度查询： 亚马逊技术股份有限公司 托管机器学习模型
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号