买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉济南市人民检察院检察事务中心申请的专利一种基于大语言模型的长文档问答生成方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119227810B 。

龙图腾网通过国家知识产权局官网在2025-07-18发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411401128.9，技术领域涉及：G06N5/04；该发明授权一种基于大语言模型的长文档问答生成方法及系统是由张群;王钧升设计研发完成，并于2024-10-09向国家知识产权局提交的专利申请。

本一种基于大语言模型的长文档问答生成方法及系统在说明书摘要公布了：本发明涉及人工智能和自然语言技术领域，特别是涉及一种基于大语言模型的长文档问答生成方法，本发明通过HNSW索引进行近似最近邻搜索，检索出最相关的N个三元组，并对检索出的三元组中每个位置，获取其周围固定大小窗口如[‑M,+M]内的所有k,v对，通过上下文窗口扩展，保证了局部连贯性，避免了仅依赖单点检索可能带来的信息碎片化；通过将检索和扩展得到的k,v对与当前输入序列的K、V矩阵拼接，形成新的K'和V'矩阵，使用标准的缩放点积注意力机制，计算注意力，并仅保留对应于输入问题序列的向量，既保证了全局视野，又避免了不必要的计算，从而解决在处理长序列时面临的严重的计算效率和内存使用问题。

本发明授权一种基于大语言模型的长文档问答生成方法及系统在权利要求书中公布了：1.一种基于大语言模型的长文档问答生成方法，其特征在于，包括以下步骤： 步骤一：构建提示工程模版； 步骤二：获取用户问题，将用户问题插入所构建的提示工程模版，并将插入用户问题的提示工程模版转换为问题token序列； 步骤三：记录问题token序列的长度QLEN； 步骤四：对问题token序列进行嵌入，以得到嵌入向量序列E； 步骤五：基于得到的嵌入向量序列E，在大语言模型中逐层执行前向传播计算，并对最后一层的计算结果执行标准化，以生成标准化层输出向量序列； 步骤六：基于得到的标准化层输出向量序列，生成token的概率分布，并根据token概率分布选择一个token，来添加到问题token序列中； 步骤七：判断是否满足以下停止条件中的至少一项，若是，则收集所有的token，以构成回答文本，若否，则重复步骤二至步骤七； 步骤八：对构成的回答文本进行处理，以生成最终回答； 所述步骤一之前还包括：预先构建HNSW索引和位置索引； 所述预先构建HNSW索引和位置索引包括： 接收用户输入的长文档； 构建提示工程模版，并将接收到的用户输入的长文档内容输入到所创建的提示工程中，将插入长文档内容的提示工程转换为文档token序列，记录文档token序列的长度LEN； 基于转换来的文档token序列，在大语言模型中逐层进行注意力计算，以创建文档token序列中每个token的三元组，其中，每个token的三元组为（ki，vi，i），其中，i表示文档token序列中的第i个token；ki表示第i个token对应的Key向量，vi表示第i个token对应的Value向量； 为大语言模型的每一层创建三元组存储列表； 基于大语言模型每一层的三元组存储列表，构建HNSW索引和位置索引； 所述步骤五包括： C1：将得到的嵌入向量序列E输入到大语言模型的第一层，在第一层中执行前向传播计算，以得到层输出向量序列OUT1并输入到大语言模型的第二层； C2：针对第m层，其中，m≥2，m为正整数；则基于大语言模型的第m-1层输出的向量序列，执行向前传播计算，以得到层输出向量序列OUTm； 所述C2包括： 接收上一层的输出向量序列OUTm-1，使用层标准化函数LN对输出向量序列OUTm-1进行标准化，以得到标准化向量序列Em，其中，Em=LNOUTm-1； 对标准化向量序列Em执行自注意力计算，并将计算出的自注意力进行线性变换，以得到经线性变换的层输出向量序列OUTm； 所述对标准化向量序列Em执行自注意力计算，并将计算出的自注意力进行线性变换，以得到经线性变换的层输出向量序列OUTm包括： 对标准化向量序列Em进行线性变换，以生成用户问题的查询向量矩阵Qm、键向量矩阵Km和值向量矩阵Vm； 其中，Qm=LinearqEm；Km=LinearkEm；Vm=LinearvEm；Qm、Km、Vm的形状均为[QLEN，dk]，其中，dk为预先设置的维度； 使用查询向量矩阵Qm中的最后一列的查询向量在从预先构建的第m层的HNSW索引结构中，检索出最相似的TOP-N个Key向量； 获取上述TOP-N个Key向量所对应的token的位置； 使用位置索引结构，获取与每个Key向量相对应的token位置最大邻居数M范围内的所有Value向量和Key向量； 按照每个Key向量对应的token在token序列中的位置顺序，将检索到的所有Key向量拼合在一起，得到矩阵Km_hist其形状为[L_hist，dk]，以及将检索到的所有Value向量拼合在一起，得到矩阵Vm_hist形状也为[L_hist，dk]； 将得到的矩阵Km_hist与键向量矩阵Km进行拼接，得到矩阵K'm，并将得到的矩阵Vm_hist与值向量矩阵Vm进行拼接，得到V'm； 使用旋转位置编码（比如，PoPE）为查询向量矩阵Qm和矩阵K'm添加位置信息，以得到查询向量矩阵Q'm和矩阵K'm； 基于矩阵V'm以及添加位置信息的查询向量矩阵Q'm和矩阵K'm，进行注意力计算，并对注意力计算结果进行线性变换，得到线性变换向量序列Om； 基于得到的线性变换向量序列Om和标准化向量序列Em，进行残差连接，以得到残差向量序列Am； 对得到的残差向量序列Am进行标准化，以得到标准化残差向量序列Xm； 通过以下公式对标准化残差向量序列Xm进行两层前馈神经网络线性计算； 将前馈神经网络的输出与标准化残差向量序列Am相加，得到层输出向量序列OUTm。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人济南市人民检察院检察事务中心，其通讯地址为：250099 山东省济南市历下区奥体西路166号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。