买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
摘要:本公开涉及一种计算图序列化方法、装置和存储介质。该方法包括:第一处理器获取目标模型的计算图;第一处理器确定计算图中的计算子图;第一处理器基于计算子图生成目标计算序列,目标计算序列为计算图对应的计算序列中,在第二处理器上执行时占用第二处理器内存最小的计算序列,目标计算序列用于在第二处理器上执行,以实现基于目标模型的推理。根据本申请实施例,可以考虑到软硬件协同进行计算图序列化,搜索内存最小的计算序列,可以节省硬件资源并提升目标模型在第二处理器上的推理速度。
主权项:1.一种计算图序列化方法,其特征在于,所述方法包括:第一处理器获取目标模型的计算图;所述第一处理器确定所述计算图中的计算子图,所述计算子图包括第二计算子图,所述第二计算子图基于初始节点、计算图的支配树和计算图的后支配树确定;所述第一处理器基于所述计算子图生成目标计算序列,所述目标计算序列为计算图对应的计算序列中,在第二处理器上执行时占用所述第二处理器内存最小的计算序列,所述目标计算序列用于由所述第一处理器存储,并发送至所述第二处理器,以在所述第二处理器上执行,以实现基于所述目标模型的推理。
全文数据:
权利要求:
百度查询: 摩尔线程智能科技(北京)股份有限公司 计算图序列化方法、装置和存储介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。