买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南开大学

摘要：本发明公开了一种基于token融合的大规模语言模型推理优化方法，经过分词器预处理后的文本序列进入嵌入层进行编码，生成词向量和位置向量，将词向量和位置向量相加得到隐藏状态作为Transformer模块的输入矩阵；针对大规模语言模型逐层进行MHA模块的计算、token分组、token融合、MLP模块的计算和token复原操作；重复上述步骤直至大规模语言模型的最后一层；最后一层生成的隐藏状态进入尾接线性层计算，输出词表中各词汇的概率。本发明使用剪枝方法对LLM进行压缩，主要聚焦于如何降低大语言模型的推理延迟。降低推理延迟需要使用模型压缩技术对大语言模型进行压缩，减少模型推理的计算量从而降低推理延迟，加速推理过程，同时还可以保证尽量小的精度损失。

主权项：1.一种基于token融合的大规模语言模型推理优化方法，其特征在于，大规模语言模型包括依次相连嵌入层、多层Transformer模块和尾接线性层，所述Transformer模块包括多头注意力机制模块、多层感知机模块、token分组模块、token融合模块、token差值预测器和token复原模块；所述多头注意力机制模块包括三个线性层；该方法包括：步骤1、经过分词器预处理后的文本序列进入嵌入层进行编码，生成词向量和位置向量，将所述词向量和位置向量相加得到隐藏状态作为所述Transformer模块的输入矩阵；步骤2、针对所述大规模语言模型，逐层进行多头注意力机制模块的计算、token分组、token融合、多层感知机模块的计算和token复原操作；包括下述步骤：步骤2-1首先进行多头注意力机制模块的计算，同时利用多头注意力机制模块生成的注意力分数矩阵获得初步的token的相似性矩阵；步骤2-2利用token分组模块，基于所述的token的相似性矩阵获得的相似度和设定的相似度的阈值，对token进行分组，同时采用多头注意力机制模块计算获得每个token的分组索引；步骤2-3利用token融合模块基于得到的每个token的分组索引将多层感知机模块的输入进行token融合，将处于同一组的token融合为一个token向量，从而获得压缩后的输入矩阵；步骤2-4将得到的压缩后的输入矩阵输入至所述多层感知机模块进行计算，将计算结果输入下一层的多头注意力机制模块，进行三个线性层的计算，生成查询矩阵Q、键矩阵K和值矩阵V；与此同时，所述token差值预测器生成token融合后与融合前组内的各token的差值；步骤2-5所述token复原模块将多头注意力机制模块的三个线性层输出的查询矩阵Q、键矩阵K和值矩阵V进行组内token向量的复制，恢复为原来token的个数，然后将所述查询矩阵Q、键矩阵K和值矩阵V与token差值预测器的输出结果相加，得到复原后的查询矩阵Q、键矩阵K和值矩阵V，用于进行多头注意力机制模块中三个线性层之后的计算；步骤3、重复上述步骤2，直至所述大规模语言模型的最后一层；步骤4、所述Transformer模块最后一层生成的隐藏状态进入尾接线性层计算，输出词表中各词汇的概率。

全文数据：

权利要求：

百度查询： 南开大学 基于token融合的大规模语言模型推理优化方法