买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:谷歌有限责任公司
摘要:用于跨硬件加速器分发机器学习工作负载的方法、系统和设备,包括编码在计算机存储介质上的计算机程序。系统中的一个包括:通过第一网络互连的第一多个硬件加速器和第一多个硬件加速器的一个或多个对应的主机;以及通过第二网络互连的第二多个硬件加速器和第二多个硬件加速器的一个或多个对应的主机,其中,第一多个硬件加速器和第二多个硬件加速器的对应的主机通过第三网络连接。例如,第一网络和第二网络可以各自是相应的核心间互连ICI网络,而第三网络可以是数据中心网络,例如以太网网络。
主权项:1.一种系统,包括:通过第一网络互连的第一多个硬件加速器和所述第一多个硬件加速器的一个或多个对应的主机;以及通过第二网络互连的第二多个硬件加速器和所述第二多个硬件加速器的一个或多个对应的主机,其中,所述第一多个硬件加速器和所述第二多个硬件加速器的对应的主机通过第三网络连接,并且其中,所述系统被配置为:执行用于在所述第一多个硬件加速器和所述第二多个硬件加速器上训练机器学习模型的操作,其中,所述第一多个硬件加速器中的每个硬件加速器被配置为使用所述第一网络来与所述第一多个硬件加速器中的其他硬件加速器交换由于在该硬件加速器上训练所述机器学习模型而生成的本地数据;以及在所述训练期间的多个时间点中的每个时间点处:通过所述第三网络将由于跨所述第一多个硬件加速器自前一时间点以来训练所述机器学习模型而生成的本地数据传输到所述第二多个硬件加速器。
全文数据:
权利要求:
百度查询: 谷歌有限责任公司 用于机器学习工作负载的跨集群通信
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。