买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉鹏城实验室申请的专利基于投机采样的大模型分布式推理加速方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120373477B 。

龙图腾网通过国家知识产权局官网在2025-09-09发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510885627.8，技术领域涉及：G06N5/04；该发明授权基于投机采样的大模型分布式推理加速方法及装置是由郑策;王星翰;宁嘉鸿;杨勇;黄宁;杨婷婷设计研发完成，并于2025-06-30向国家知识产权局提交的专利申请。

本基于投机采样的大模型分布式推理加速方法及装置在说明书摘要公布了：本申请实施例提供基于投机采样的大模型分布式推理加速方法及装置，涉及人工智能领域。将终端前缀信息输入草稿小模型进行内容生成得到多个候选token和对应的小模型概率分布，将参数序列、每个候选token和候选token对应的小模型概率值传输至基站，以使得基站利用目标大模型生成每个候选token的大模型概率分布，并将候选token分为接受token和或拒绝token。如果终端接收到第一个拒绝token对应的大模型概率分布，对第一个拒绝token进行重采样得到重采样token，将重采样token写入参数序列，并根据重采样token更新终端前缀信息，迭代执行，直至得到推理结果。将对候选token的拒绝接收过程放在基站执行，将拒绝后的重采样过程放置在终端设备上执行，提升协同推理效率。

本发明授权基于投机采样的大模型分布式推理加速方法及装置在权利要求书中公布了：1.一种基于投机采样的大模型分布式推理加速方法，其特征在于，应用于终端设备，所述终端设备上部署草稿小模型，所述方法包括： 将终端前缀信息输入所述草稿小模型进行内容生成，得到多个候选token和每个所述候选token对应的小模型概率分布； 将当前的参数序列、每个所述候选token和所述候选token在对应的所述小模型概率分布中的小模型概率值作为终端生成数据传输至基站，以使得所述基站利用目标大模型根据所述终端生成数据生成每个所述候选token的大模型概率分布，并将所述候选token分为接受token和或拒绝token，所述目标大模型的参数量高于所述草稿小模型； 如果接收到第一个所述拒绝token对应的所述大模型概率分布，对第一个所述拒绝token进行重采样，得到重采样token，将所述重采样token写入所述参数序列，并根据所述重采样token更新所述终端前缀信息； 迭代执行，直至触发结束条件，得到推理结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人鹏城实验室，其通讯地址为：518000 广东省深圳市南山区兴科一街2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。