买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：芯原微电子(上海)股份有限公司;芯原微电子(成都)有限公司;芯原微电子(南京)有限公司;芯原科技(上海)有限公司;芯原微电子(海南)有限公司;芯原微电子(北京)有限公司

摘要：本申请旨在提供一种大语言模型数据管理方法、装置、电子设备及存储介质，涉及神经网络领域。大语言模型数据管理方法包括：在所述注意力层进行非首轮推理的情况下，将目标矩阵输出至所述注意力层，以使所述注意力层基于所述目标矩阵计算前一轮推理生成的键向量和值向量；其中：所述目标矩阵存储在所述存储单元内，所述目标矩阵包括初始向量和N个累加向量；在所述注意力层基于所述键向量和所述值向量完成当前轮次的推理后，基于所述累加向量对所述存储单元内的目标矩阵进行累加。通过上述方式，可以减少大语言模型不断推理过程中存储器所需缓存的数据量。

主权项：1.一种大语言模型数据管理方法，其特征在于，应用于电子设备的处理器，所述处理器配置有包括注意力层的大语言模型，所述电子设备还包括存储单元，所述大语言模型数据管理方法包括：在所述注意力层进行非首轮推理的情况下，将目标矩阵输出至所述注意力层，以使所述注意力层基于所述目标矩阵计算前一轮推理生成的键向量和值向量；其中：所述目标矩阵存储在所述存储单元内，所述目标矩阵包括初始向量和N个累加向量，N＝M-2，M为所述注意力层当前的推理轮次，且M大于或等于2；所述初始向量为所述大语言模型在首轮推理过程中基于输入的文本产生的、用于推理键向量和值向量的中间数据；所述累加向量为所述注意力层非首轮推理的情况下，推理该轮键向量和值向量所需增加的固定数据；在所述注意力层基于所述键向量和所述值向量完成当前轮次的推理后，基于所述累加向量对所述存储单元内的目标矩阵进行累加。

全文数据：

权利要求：

百度查询： 芯原微电子(上海)股份有限公司 芯原微电子(成都)有限公司 芯原微电子(南京)有限公司 芯原科技(上海)有限公司 芯原微电子(海南)有限公司 芯原微电子(北京)有限公司 大语言模型数据管理方法、装置、电子设备及存储介质