买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：太初(无锡)电子科技有限公司

摘要：本发明提供一种双模式张量管理设计方案，其中，训练模型数据流图G用于表达深度模型的结构，表达方式为GV，E，其中，V为结点；E为边集；深度学习加速器算子库性能特性描述表TV，通过计算算子的归一化计算时间，判断执行设备并标注执行信息，所述执行信息包括：主机端执行或者设备端执行；以及，对每个边对应的数据传输的执行进行标记。本发明通过标注执行信息，可动态使用主机和设备内存，极大减少了频繁数据拷贝带来的系统开销；同时，针对性地设计了支持全数据流图范围内张量内存布局优化的分析引擎，充分发挥底层深度学习加速库的性能，可适用于神威深度学习加速器。

主权项：1.一种双模式张量管理设计方法，其特征在于，是根据给定的训练模型数据流图G、给定的神威深度学习加速器算子库性能特性描述表T，输出一个“主机—加速器”之间数据传输量较少的执行方案P；其中，所述训练模型数据流图G用于表达深度模型的结构，表达方式为G（V，E），其中，V为结点，代表计算操作符即算子的集合；E为边集，即算子之间连接关系的集合，代表数据依赖，对应数据传输操作；所述神威深度学习加速器算子库性能特性描述表T用于描述算子计算特性的函数，描述方式是T（V），即给定算子op∈V，T（op）返回该算子的归一化计算时间，该数值越大表示性能越差，即相应的计算时间越长；若该算子在当前设备不支持，则输出无穷大；所述执行方案P包括：在训练模型数据流图G上添加每个算子的执行信息，所述执行信息包括：主机端执行或者设备端执行；以及，对每个边对应的数据传输的执行进行标记；所述双模式张量管理设计方案的执行流程为：（1）对数据流图G进行拓扑排序；（2）按顺序从G中取出计算节点op，若该算子标记为已处理，则跳过；否则，对op以函数T（V）计算归一化计算时间t，即t=T（op）；t越大表示性能越差，即相应的计算时间越长，若该算子在当前设备不支持，则输出无穷大；（3）依据t的结果标记计算节点op的执行位置：若t为无穷大，则标记该算子在主机端执行；否则，标记为在设备端执行；（4）标记该计算节点op为已处理；（5）重复执行步骤（2）至（4）直到所有算子都被标记为已处理。

全文数据：

权利要求：

百度查询： 太初(无锡)电子科技有限公司 一种动态双模式张量管理设计方案