买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉苏州浪潮智能科技有限公司申请的专利推理模型的运行方法、后端、存储介质和电子设备获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116822630B 。

龙图腾网通过国家知识产权局官网在2025-05-30发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310787918.4，技术领域涉及：G06N5/04；该发明授权推理模型的运行方法、后端、存储介质和电子设备是由王萌设计研发完成，并于2023-06-29向国家知识产权局提交的专利申请。

本推理模型的运行方法、后端、存储介质和电子设备在说明书摘要公布了：本申请实施例提供了一种推理模型的运行方法、后端、存储介质和电子设备，其中，该方法包括：在第一Pod接收到来自前端的分割信息和推理模型的情况下，第一Pod根据各分割信息，将推理模型分割为多个子推理模型；第一Pod将第二Pod调度到对应的节点上，并将子推理模型部署在对应的第二Pod；第一Pod将推理模型的输入数据发送至运行第一个子推理模型的第二Pod，从运行最后一个子推理模型的第二Pod得到推理模型的输出数据。通过本申请，解决现有技术中单节点无法满足推理模型的图形处理器资源需求导致推理模型部署失败的问题，进而达到提高集群内分布于多个节点的图形处理器资源的利用率的效果。

本发明授权推理模型的运行方法、后端、存储介质和电子设备在权利要求书中公布了：1.一种推理模型的运行方法，其特征在于，后端中配置有第一Pod和多个第二Pod，所述第一Pod与前端通信连接，所述方法应用于所述第一Pod，推理模型包括多个神经网络层，所述神经网络层依次连接，所述方法包括：在所述第一Pod接收到来自所述前端的分割信息和所述推理模型的情况下，所述第一Pod根据各所述分割信息，将所述推理模型分割为多个子推理模型，所述分割信息与所述子推理模型一一对应，一个所述子推理模型包括多个所述神经网络层，一条所述分割信息包括对应的所述子推理模型的第一个所述神经网络层的名称和对应的所述子推理模型的最后一个所述神经网络层的名称；所述第一Pod将所述第二Pod调度到对应的节点上，并将所述子推理模型部署在对应的所述第二Pod，一个所述节点配置至少一个图形处理器，所述第二Pod与所述节点一一对应，所述第二Pod与所述子推理模型一一对应，所述第二Pod用于运行对应的所述子推理模型且将对应所述子推理模型的输出数据发送至运行下一个所述子推理模型的所述第二Pod，所述多个子推理模型按照预设顺序运行；所述第一Pod将所述推理模型的输入数据发送至运行第一个所述子推理模型的所述第二Pod，从运行最后一个所述子推理模型的所述第二Pod得到所述推理模型的输出数据。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人苏州浪潮智能科技有限公司，其通讯地址为：215000 江苏省苏州市吴中经济开发区郭巷街道官浦路1号9幢；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。