买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京大学申请的专利一种基于NPU的端侧大语言模型推理加速优化方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN121235128B 。

龙图腾网通过国家知识产权局官网在2026-03-17发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511785136.2，技术领域涉及：G06N5/04；该发明授权一种基于NPU的端侧大语言模型推理加速优化方法是由马郓;陈智扬;徐大亮设计研发完成，并于2025-12-01向国家知识产权局提交的专利申请。

本一种基于NPU的端侧大语言模型推理加速优化方法在说明书摘要公布了：本申请公开了一种基于NPU的端侧大语言模型推理加速优化方法，属于计算机技术领域。所述方法将推测解码技术应用至解码阶段，以降低NPU带宽瓶颈对解码阶段的影响，且对端侧大语言模型进行分块，以并行执行预填充计算与用于解码阶段的NPU计算图加载，从而重叠加载延迟与NPU计算延迟，降低整体时间与内存开销。

本发明授权一种基于NPU的端侧大语言模型推理加速优化方法在权利要求书中公布了：1.一种基于NPU的端侧大语言模型推理加速优化方法，其特征在于，应用于部署有神经处理单元NPU的端侧设备，所述方法包括： 响应于接收到用户指定的大语言模型与用户输入文本，对所述大语言模型进行分块； 在用于预填充阶段的NPU计算图加载完毕之后，利用预填充阶段所关联的各个模型分块以及用于预填充阶段的NPU计算图，根据所述用户输入文本执行预填充计算，且在执行预填充计算的过程中，并行加载用于解码阶段的NPU计算图； 在预填充计算完成之后，根据预填充计算得到的模型文本分布初始化数据库，并利用解码阶段所关联的各个模型分块、用于解码阶段的NPU计算图以及所述数据库，基于推测解码技术迭代执行解码计算，得到所述用户输入文本所对应的预测文本，所述模型文本分布包含：对所述用户输入文本中每个词元预测的下一个词元的概率分布； 所述利用解码阶段所关联的各个模型分块、用于解码阶段的NPU计算图以及所述数据库，基于推测解码技术迭代执行解码计算，包括： 根据上一迭代轮次解码计算得到的计算结果，检索所述数据库以生成各个候选草稿，其中，每个迭代轮次解码计算得到的计算结果用于确定每个迭代轮次通过验证的候选草稿； 利用解码阶段所关联的各个模型分块以及所述用于解码阶段的NPU计算图，根据所述各个候选草稿执行新一迭代轮次的解码计算，以及根据所述新一迭代轮次的解码计算得到的计算结果，确定所述新一迭代轮次验证通过的候选草稿，并将所述新一迭代轮次验证通过的候选草稿存入所述数据库以用于后续迭代轮次的候选草稿生成； 在满足预设迭代结束条件的情况下，结束解码计算的迭代执行，根据最后一轮解码计算的计算结果，确定所述用户输入文本所对应的预测文本； 在根据所述各个候选草稿执行新一迭代轮次的解码计算之前，所述方法还包括： 根据上一迭代轮次解码计算得到的计算结果，评估上一迭代轮次得到的候选草稿的草稿质量，并依据草稿质量从所述上一迭代轮次得到的候选草稿中筛选出所需复用的各个草稿； 利用所述所需复用的各个草稿，对所述各个候选草稿进行扩展； 使用目标评分函数预测每个所述候选草稿通过模型验证的概率，所述目标评分函数输出的评分=词元序列质量分数+上下文相似性分数存活时间，所述目标评分函数输出的评分用于表征对所述候选草稿预测的通过模型验证的概率，所述词元序列质量分数根据所述候选草稿中每个词元的采样概率确定，所述上下文相似性分数根据用于生成所述候选草稿的上下文与映射上下文之间的余弦相似度确定，所述存活时间根据所述候选草稿经过的验证轮次确定； 按照预测的通过模型验证的概率由高至低的顺序，将所述各个候选草稿依次放入预先维护的优先队列； 从所述优先队列中取出前n个候选草稿分别作为所需参与所述新一迭代轮次的解码计算的候选草稿，其中，n为正整数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京大学，其通讯地址为：100871 北京市海淀区颐和园路5号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。