买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉苏州元脑智能科技有限公司申请的专利一种模型推理加速方法、设备、存储介质和程序产品获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120354956B 。

龙图腾网通过国家知识产权局官网在2025-09-05发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510858103.X，技术领域涉及：G06N5/04；该发明授权一种模型推理加速方法、设备、存储介质和程序产品是由董建宁;李纪元设计研发完成，并于2025-06-25向国家知识产权局提交的专利申请。

本一种模型推理加速方法、设备、存储介质和程序产品在说明书摘要公布了：本申请公开了一种模型推理加速方法、设备、存储介质和程序产品，涉及人工智能技术领域，包括根据当前算子是否为待卸载算子，若是，在主核上对当前算子的计算任务执行全部计算操作，输出当前算子的计算执行结果；若不是，则在主核上对当前算子的计算任务执行第一计算操作，输出当前算子的第一执行结果，同时在协核上对当前算子的计算任务执行第二计算操作，输出当前算子的第二执行结果，解决了由于禁用外接硬件加速卡且本身性能受限，导致推理速度慢的问题，达到了提高模型推理速度的技术效果；基于中断响应机制，根据第一执行结果和第二执行结果，在主核上生成当前算子的计算执行结果，达到了提高模型推理实时性的技术效果。

本发明授权一种模型推理加速方法、设备、存储介质和程序产品在权利要求书中公布了：1.一种模型推理加速方法，应用于基板管理控制器，所述基板管理控制器中包括主核和协核，其特征在于，所述方法包括： 响应于接收到模型推理请求，在所述主核上根据所述模型推理请求加载预设模型，并判断当前算子是否为待卸载算子； 若否，则根据所述当前算子的输入张量，在所述主核上对所述当前算子执行全部计算操作，输出所述当前算子的计算执行结果； 若是，则根据所述当前算子的输入张量，在所述主核上对所述当前算子执行第一计算操作，输出所述当前算子的第一执行结果，同时在所述协核上对所述当前算子执行第二计算操作，输出所述当前算子的第二执行结果，其中，所述全部计算操作至少包括所述第一计算操作和所述第二计算操作； 基于中断响应机制，根据所述当前算子的第一执行结果和第二执行结果，在所述主核上生成所述当前算子的计算执行结果； 其中，在根据所述当前算子的输入张量，在所述主核上对所述当前算子执行第一计算操作，输出所述当前算子的第一执行结果前，所述方法还包括： 在所述主核上将所述当前算子的计算任务切割成对应的多个计算子任务，并将所述当前算子的多个计算子任务写入共享内存中的双缓冲任务队列，其中，所述多个计算子任务之间的计算量相同； 基于任务分配机制，在所述主核上将所述当前算子的多个计算子任务划分为所述当前算子的主核计算子任务和协核计算子任务； 若所述当前算子的当前计算子任务为主核计算子任务，则在所述主核上将所述当前算子的当前计算子任务写入所述主核线程； 若所述当前算子的当前计算子任务为协核计算子任务，则在所述主核上将所述当前算子的当前计算子任务写入线程池的协核线程； 根据所述当前算子的输入张量，在所述主核上生成所述当前算子的任务描述符，并将所述当前算子的任务描述符写入所述共享内存中的任务描述符队列。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人苏州元脑智能科技有限公司，其通讯地址为：215000 江苏省苏州市吴中经济开发区综保区经一路1号8幢；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。