买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：寒武纪行歌(南京)科技有限公司

摘要：本申请提供一种模型推理性能的优化方法、装置及相关产品，涉及人工智能领域。具体方案包括：从预设的人工智能框架获取目标模型的初始模型文件，所述初始模型文件中具有目标模型对应的初始计算图；采用预设的推理加速引擎对所述初始模型文件进行优化处理，以获得自动优化后的计算图；对所述自动优化后的计算图进行解析，确定满足算子融合条件的至少一个子计算图；所述子计算图中的算子为目标算子；针对至少一个子计算图，对同一子计算图中的目标算子进行算子融合处理，以获得至少一个融合算子；基于至少一个融合算子对目标模型的推理性能进行优化。本申请的方案能够减少片上内存空间进行读写数据的时间，进而减少模型推理过程的时间。

主权项：1.一种模型推理性能的优化方法，其特征在于，包括：从预设的人工智能框架获取目标模型的初始模型文件，所述初始模型文件中具有目标模型对应的初始计算图；采用预设的推理加速引擎对所述初始模型文件进行优化处理，以获得自动优化后的计算图；对所述自动优化后的计算图进行解析，确定满足算子融合条件的至少一个子计算图，所述子计算图中的算子为目标算子；针对至少一个子计算图，对同一子计算图中的目标算子进行算子融合处理，以获得至少一个融合算子；基于至少一个融合算子对目标模型的推理性能进行优化；所述采用预设的推理加速引擎对所述初始模型文件进行优化处理，以获得自动优化后的计算图，包括：采用预设的推理加速引擎中预先配置的优化策略对所述初始模型文件进行优化处理；所述预先配置的优化策略包括形状推理优化、常量传播优化、软件流水优化中的任意一项或多项；查看对所述模型文件进行优化处理后的优化日志，并从所述优化日志中获取自动优化后的计算图；所述对所述自动优化后的计算图进行解析，确定满足算子融合条件的至少一个子计算图，包括：对所述自动优化后的计算图进行解析，以获得各融合前算子之间的网络结构、输入数据特征及输出数据特征；所述融合前算子之间的网络结构包括融化前算子在所述自动优化后的计算图中连接顺序；所述各融合前算子之间的输入数据特征包括输入数据形状特征和输入数据规模；所述各融合前算子之间的输出数据特征包括输出数据形状特征和输出数据规模；根据所述各融合前算子之间的网络结构、输入数据特征及输出数据特征确定至少一组满足算子融合条件的算子；基于至少一组满足算子融合条件的算子确定至少一个子计算图；所述基于至少一个融合算子对目标模型的推理性能进行优化，包括：生成最终优化后的计算图对应的二进制代码文件，并将所述二进制代码文件及至少一个融合算子的动态库输入到加速卡中。

全文数据：

权利要求：

百度查询： 寒武纪行歌(南京)科技有限公司 模型推理性能的优化方法、装置及相关产品