买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
摘要:一个实施例提供用于计算并分发数据以用于神经网络的分布式训练的系统,该系统包括:第一存储器,其存储包括机器学习框架的第一组指令;结构接口,其实现与该组可训练机器学习参数相关联的数据的传输和接收;第一组通用处理器核心,其执行第一组指令,该第一组指令提供训练工作流以用于针对可训练机器学习参数的梯度的计算并与第二组指令通信,该第二组指令有利于经由结构接口来传输和接收梯度;以及图形处理器,其执行与训练工作流相关联的计算操作以生成针对可训练机器学习参数的梯度。
主权项:1.一种第一分布式训练节点的图形处理单元,所述图形处理单元包括:计算块,所述计算块包括一个或多个处理集群,所述一个或多个处理集群用于执行与机器学习框架工作流相关联的计算操作,所述计算操作用于生成与神经网络的可训练参数相关联的梯度数据;存储器设备,所述存储器设备用于存储在所述神经网络的分布式训练期间的梯度数据;以及结构接口,所述结构接口与所述存储器设备和所述计算块耦合,所述结构接口被配置为根据预先定义的通信操作来传输存储在所述存储器设备中的梯度数据,其中,所述存储器设备是与所述计算块共享的物理存储器设备,并且所述结构接口用于基于所述存储器设备中的所述梯度数据的地址来自动地将存储在存储器中的所述梯度数据传输至第二分布式训练节点。
全文数据:
权利要求:
百度查询: 英特尔公司 用于机器学习的硬件实现的点对点通信原语
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。