买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉上海交通大学申请的专利适用于混合专家架构大语言模型的专家访问预测方法和系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120012935B 。

龙图腾网通过国家知识产权局官网在2025-12-26发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510101866.X，技术领域涉及：G06N5/04；该发明授权适用于混合专家架构大语言模型的专家访问预测方法和系统是由陈榕;宋小牛;陈海波设计研发完成，并于2025-01-22向国家知识产权局提交的专利申请。

本适用于混合专家架构大语言模型的专家访问预测方法和系统在说明书摘要公布了：本发明提供了一种适用于混合专家架构大语言模型的专家访问预测方法和系统，综合考虑模型结构和硬件特征信息，通过为每一层构建基于神经网络的专家访问预测器，并利用历史数据进行训练，能够提前预测模型推理过程中需要激活的专家。这一过程中，预测器在CPU上并行执行预测，而预取器根据预测结果提前将专家参数从主机内存加载到GPU显存中。通过调整预测距离在预测准确率和预取提前量之间进行权衡，并能根据预测准确率动态调整预取数量。同时，采用并行加载，最大化地利用系统资源，减少对GPU推理性能的影响。最后，通过高优先级重新预取等机制来处理预测错误的情况，确保模型推理的正常进行。

本发明授权适用于混合专家架构大语言模型的专家访问预测方法和系统在权利要求书中公布了：1.一种适用于混合专家架构大语言模型的专家访问预测方法，其特征在于，包括： 步骤1：获取混合专家架构大语言模型的结构信息以及计算平台的硬件特征信息，包括模型层数、每层专家数量、每层对于每个单词需要激活的专家数量、每个专家的参数数量、PCIe链路带宽和可用GPU内存大小； 步骤2：为大语言模型每层构建一个基于神经网络的专家访问预测器Pi，该预测器负责根据k层前的输入预测当前层需要激活的专家，其中，Pi是第i层的预测器，其由双层感知机组成，输入hi-k为大语言模型第i-k层的输入，输出ei为第i层每个专家被激活的概率，k为用户预先指定的预测距离； 步骤3：收集大语言模型推理过程中的历史数据作为训练数据，对每个单词的一次推理过程，记录其每层门控函数的输入以及实际选择的专家； 步骤4：使用收集到的训练数据，离线训练各层的专家访问预测器，并持久化到磁盘中； 步骤5：启动推理服务，将非专家参数加载到GPU内存中，将专家参数加载到CPU内存中，同时为大语言模型每层加载对应的预测器到CPU内存中； 步骤6：在线推理时，将GPU推理过程中每一层的门控函数输入采集到CPU内存中，采集到的输入所对应的预测器在获取到输入后，将在CPU上计算ei＝Pihi-k，输出k层后每个专家被使用的概率，作为预测结果； 步骤7：根据预测结果，为每一层选择与模型激活专家数量相同的专家，放入预取队列中，交由预取器执行预取操作，预取器按照入列顺序，将专家参数从主机内存加载到GPU显存中； 步骤8：推理进行到被预测层时，将因预测错误而未预取的专家重新放入预取队列中，交由预取器执行预取操作； 步骤9：在一个单词的推理结束后，将推理结果返回给用户，并回到步骤6，开始下一个单词的推理。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人上海交通大学，其通讯地址为：200240 上海市闵行区东川路800号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。