买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京师范大学珠海校区申请的专利基于Multi-Armed Bandit的边缘设备大模型在线缓存与服务系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120029782B 。

龙图腾网通过国家知识产权局官网在2025-12-02发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510177649.9，技术领域涉及：G06F9/50；该发明授权基于Multi-Armed Bandit的边缘设备大模型在线缓存与服务系统是由郭剑雄;李彦弟设计研发完成，并于2025-02-18向国家知识产权局提交的专利申请。

本基于Multi-Armed Bandit的边缘设备大模型在线缓存与服务系统在说明书摘要公布了：本发明涉及边缘计算及大模型推理优化技术领域，提供了基于Multi‑ArmedBandit的边缘设备大模型在线缓存与服务系统，系统包括：特征信息接收模块，用于接收云端备选LLM的特征信息集合；LLM质量预测模块，用于基于特征信息集合，使用神经网络对每个LLM预测效用向量并计算UCB值和效用偏移量；边缘排序选择模块，用于对UCB值和效用偏移量之和降序排序，选择预设个数的LLM生成LLM子集并将所述LLM子集缓存后部署到边缘端；异步处理输出训练模块，用于收集服务质量数据和神经网络梯度数据，并异步地对LLM质量预测模块中的神经网络模型进行训练和参数优化更新；不断重复以上步骤实现基于Multi‑ArmedBandit的边缘设备大模型在线缓存与服务。

本发明授权基于Multi-Armed Bandit的边缘设备大模型在线缓存与服务系统在权利要求书中公布了：1.基于Multi-ArmedBandit的边缘设备大模型在线缓存与服务系统，其特征在于，系统包括： 特征信息接收模块，用于接收边缘服务器设备云端备选LLM的特征信息集合，所述云端备选LLM的特征信息集合包括模型参数量、计算需求、内存需求、使用任务类型、推理延迟基线和多任务支持性； LLM质量预测模块，用于基于所述特征信息集合，使用神经网络预测每个LLM的效用向量，并计算每个LLM效用向量对应的UCB值和效用偏移量； 边缘排序选择模块，用于对所述UCB值和效用偏移量之和进行降序排序，选择前个LLM生成LLM子集，将所述LLM子集定义为超级臂,并将所述超级臂缓存后部署到边缘端并提供服务； 异步处理输出训练模块，用于收集服务质量数据和神经网络梯度数据，并异步的对LLM质量预测模块中的神经网络模型进行训练和参数优化； 循环顺序运行以上模块，实现Multi-ArmedBandit的边缘设备大模型在线缓存与服务； 所述LLM质量预测模块中，所述神经网络预测的运行过程具体包括： 使用具有全连接结构的神经网络函数近似效用轮次模型中的未知函数： 其中，为ReLU激活函数，m为神经网络隐藏层宽度，为云端备选LLM的特征向量，为神经网络模型的参数矩阵，为神经网络的第1层的权重矩阵，为最后一层的权重矩阵，为倒数第二层的权重矩阵； 所述效用轮次模型为： 其中，为第j个臂第t个轮次的效用，为未知函数，为一个v-次高斯噪声，为第j个臂第t个轮次的特征向量； 所述LLM质量预测模块包括效用向量预测子模块和效用偏移量计算子模块； 所述效用向量预测子模块用于基于神经网络模型的参数和协方差矩阵计算效用向量的UCB值： 其中，为第j个臂第t个轮次的效用的预测值，为缩放因子，为未知函数的梯度； 所述效用偏移量计算子模块用于基于神经网络模型的参数和协方差矩阵计算效用偏移量： 其中，为权重系数，K为边缘服务器的容量，L为处理延迟，为正则化参数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京师范大学珠海校区，其通讯地址为：519087 广东省珠海市香洲区唐家湾镇金凤路18号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。