买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中国人民解放军国防科技大学申请的专利一种资源受限场景下的大模型推理张量卸载方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120540744B 。

龙图腾网通过国家知识产权局官网在2025-10-31发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511036908.2，技术领域涉及：G06F9/445；该发明授权一种资源受限场景下的大模型推理张量卸载方法及系统是由张建锋;蹇松雷;谢栋;郭勇;李宝;王晓川;谭郁松;余杰;谭霜;王怡琦;丁滟;任怡;董攀设计研发完成，并于2025-07-28向国家知识产权局提交的专利申请。

本一种资源受限场景下的大模型推理张量卸载方法及系统在说明书摘要公布了：本发明公开了一种资源受限场景下的大模型推理张量卸载方法及系统，本发明方法包括为目标算子加载算子语义知识；为目标算子计算单位GPU内存资源可获得的延迟优化效益并归一化处理作为GPU亲和度，并对GPU亲和度降序排列生成初步优先级队列G；为初步优先级队列G中的目标算子引入跨设备张量加载延迟以动态调整算子部署顺序，从而得到最终的优先级队列G'；判断最终的优先级队列G'等于初步优先级队列G是否成立，如果不成立则跳转步骤S102继续迭代；否则，基于最终的优先级队列G'生成算子的张量在GPU和CPU之间的分配的放置方案。本发明旨在提升资源受限场景下的大模型推理速度。

本发明授权一种资源受限场景下的大模型推理张量卸载方法及系统在权利要求书中公布了：1.一种资源受限场景下的大模型推理张量卸载方法，其特征在于，包括下述步骤： S101，为大模型中的目标算子加载算子语义知识，所述算子语义知识包括目标算子在CPU和GPU上的执行延迟以及目标算子的权重张量内存占用量，所述目标算子为需要加载模型权重进行张量计算的算子； S102，为目标算子计算单位GPU内存资源可获得的延迟优化效益并归一化处理作为GPU亲和度，并对GPU亲和度降序排列生成初步优先级队列G； S103，为初步优先级队列G中的目标算子引入跨设备张量加载延迟以动态调整算子部署顺序，从而得到最终的优先级队列G'； S104，判断最终的优先级队列G'等于初步优先级队列G是否成立，如果不成立则跳转步骤S102继续迭代，否则基于最终的优先级队列G'生成算子的张量在GPU和CPU之间的分配的放置方案； 步骤S102中单位GPU内存资源可获得的延迟优化效益的计算函数表达式为： ； 其中，为第i个目标算子的单位GPU内存资源可获得的延迟优化效益，和分别为第i个目标算子在CPU和GPU上的执行延迟，为第i个目标算子的权重张量内存占用量。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国人民解放军国防科技大学，其通讯地址为：410073 湖南省长沙市开福区德雅路109号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。