买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中山大学申请的专利面向泛在算力网络的边缘生成式大语言模型协同推理方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119312937B 。

龙图腾网通过国家知识产权局官网在2025-09-26发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411357243.0，技术领域涉及：G06N5/043；该发明授权面向泛在算力网络的边缘生成式大语言模型协同推理方法是由陈旭;叶盛源;欧阳蓓;钱甜奕设计研发完成，并于2024-09-27向国家知识产权局提交的专利申请。

本面向泛在算力网络的边缘生成式大语言模型协同推理方法在说明书摘要公布了：本发明提供一种面向泛在算力网络的边缘生成式大语言模型协同推理方法，包括获取生成式大语言模型信息和边缘设备信息；对边缘设备流水线编排及生成式大语言模型流水线并行推理建模并求解；基于输入序列划分的流水线并行预填充；基于大纲的流水线并行自回归解码。本发明借助泛在算力网络环境下多边缘端设备的计算资源，通过基于序列划分的流水线并行推理技术来加速生成式大语言模型的预填充阶段，同时利用基于大纲的流水线并行解码方法来加速生成式大语言模型的自回归解码阶段，实现在多边缘设备上的生成式大语言模型低时延与资源高效的分布式协同推理；有效保护了用户隐私数据安全，本发明针对复杂的边缘环境的资源特点具备更好的适应性和鲁棒性。

本发明授权面向泛在算力网络的边缘生成式大语言模型协同推理方法在权利要求书中公布了：1.面向泛在算力网络的边缘生成式大语言模型协同推理方法，其特征在于，包括如下步骤： S1、获取生成式大语言模型信息，通过在各边缘设备上安装生成式大语言模型至本地计算环境，并测量和采集生成式大语言模型配置参数； S2、采集边缘设备的性能参数信息，各边缘设备利用测试输入样例离线执行生成式大语言模型推理任务，并记录相关运行时数据，估算边缘设备本地计算资源参数； S3、对边缘设备流水线编排及生成式大语言模型流水线并行推理建模并求解； S4、基于输入序列划分的流水线并行预填充，将用户发出的自然语言推理请求切割为多个子序列，并被同时注入边缘设备流水线中进行推理；具体包括如下步骤： S41、将用户发出的自然语言推理请求切割为多个子序列s1,s2,…,sn，并将多个子序列s1,s2,…,sn同时注入边缘设备的流水线中； S42、通过生成式大语言模型对每个子序列si进行推理，并且将每个子序列si在生成式大语言模型的自注意力网络层推理的中间结果缓存，以供后面的子序列推理使用； S5、基于大纲的流水线并行自回归解码，通过预设的大纲指令提示生成式大语言模型对目标问题生成一个包含多个要点的回复大纲，并让生成式大语言模型以流水线并行的形式同时对多个要点并行解码拓展；具体包括如下步骤： S51、预设大纲生成指令，在预填充阶段通过将预设的大纲生成指令与用户的问题结合起来作为生成式大语言模型的输入，以指导生成式大语言模型生成一个回复答案的大纲； S52、在预填充阶段完成后，通过让生成式大语言模型先串行生成一个答案大纲，并将答案大纲的每个分点单独包装成独立的解码拓展请求，每个请求将提示生成式大语言模型仅针对答案大纲的要点进行解码扩展； S53、将解码拓展请求时注入边缘端协同推理流水线中；以实现高效的流水线并行处理； S54、当所有解码拓展请求完成后，将每个请求的输出结果拼接起来，以获得最终的答案。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中山大学，其通讯地址为：510275 广东省广州市海珠区新港西路135号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。