买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：山东浪潮科学研究院有限公司

摘要：本发明公开一种大语言模型的Token处理方法，涉及人工智能领域；包括：将用户输入的问题转化为问题的Token序列，根据问题的Token序列使用推测模型进行自回归解码推理，生成推测输出Token序列，将问题的Token序列和推测输出Token序列拼接为原模型的输入Token序列，使用原模型根据输入Token序列进行一次推理，通过原模型推理产生输出Token序列，将输出Token序列与推测输出Token序列进行对比验证，如果Token序列相同，则将推测输出Token序列作为最终输出Token序列，否则在不同位置将原模型的输出Token序列替换掉相应位置的推测输出Token序列，再将替换后的Token序列输入推测模型进行自回归解码推理，重复推测和验证过程，直至对比验证的Token序列相同，将推测输出Token序列作为最终输出Token序列，根据最终输出Token序列构建用户问题的回答结果。

主权项：1.一种大语言模型的Token处理方法，其特征是包括：步骤1：将参数量较大的大语言模型作为原模型，将对应原模型的参数量较小的大语言模型作为推测模型，步骤2：将用户输入的问题转化为问题的Token序列，根据问题的Token序列使用推测模型进行自回归解码推理，生成推测输出Token序列，步骤3：将问题的Token序列和推测输出Token序列拼接为原模型的输入Token序列，使用原模型根据输入Token序列进行一次推理，通过原模型推理产生输出Token序列，将输出Token序列与推测输出Token序列进行对比验证，如果Token序列相同，则将推测输出Token序列作为最终输出Token序列，否则进行步骤4，步骤4：输出Token序列与推测输出Token序列存在不同，则在不同位置将原模型的输出Token序列替换掉相应位置的推测输出Token序列，再将替换后的Token序列输入推测模型进行自回归解码推理，获得推测输出Token序列并输入原模型，通过原模型进行一次推理获得输出Token序列，再将输出Token序列与推测输出Token序列进行对比验证，若Token序列相同，则将推测输出Token序列作为最终输出Token序列，否则重复步骤4，直至对比验证的Token序列相同，将推测输出Token序列作为最终输出Token序列，根据最终输出Token序列构建用户问题的回答结果。

全文数据：

权利要求：

百度查询： 山东浪潮科学研究院有限公司 一种大语言模型的Token处理方法