龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：苏州浪潮智能科技有限公司
摘要：本发明提供了一种基于TVM编译器的推理方法、装置、存储介质及设备，涉及人工智能技术领域，方法包括：分析TVM编译器在推理过程中的所有通信结构，并生成多个通信拓扑结构图，并为每个通信拓扑结构图构建通信算子；将待推理的神经网络模型输入TVM编译器中，并通过TVM编译器对神经网络模型进行转化，得到转化模型；分析转化模型的当前通信结构，并确定对应的通信拓扑结构图，并用对应的通信算子替换当前通信结构，并使用对应的通信算子实现张量并行方式推理。本发明加速了神经网络模型的推理速度，尤其对于大型神经网络模型，能极大缩短总的推理时间，提高推理效率。
主权项：1.一种基于TVM编译器的推理方法，其特征在于，包括以下步骤：分析TVM编译器在推理过程中的所有通信结构，并生成多个通信拓扑结构图，并为每个通信拓扑结构图构建通信算子；将待推理的神经网络模型输入所述TVM编译器中，并通过所述TVM编译器对所述神经网络模型进行转化，得到转化模型；分析所述转化模型的当前通信结构，并确定对应的通信拓扑结构图，并用对应的通信算子替换所述当前通信结构，并使用所述对应的通信算子实现张量并行方式推理，其进一步包括：用对应的通信算子替换所述当前通信结构，得到所述对应的通信算子与关联的计算算子的组合，并将所述组合拆分为多个子函数，并使用所述多个子函数实现张量并行方式推理，其进一步包括：使所述多个子函数的部分或全部子函数并行执行，以实现张量并行方式推理；使每个子函数包括一个通信操作，所述每个子函数还包括至少一个计算算子。
全文数据：
权利要求：
百度查询： 苏州浪潮智能科技有限公司 基于TVM编译器的推理方法、装置、存储介质及设备
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号