买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜中国人民解放军国防科技大学申请的专利基于逐层参数编辑的大语言模型的优化方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN118536550B 。

龙图腾网通过国家知识产权局官网在2025-04-18发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202410615279.8，技术领域涉及：G06N3/0455；该发明授权基于逐层参数编辑的大语言模型的优化方法是由余杰;李小鹏;李莎莎;马俊;刘晓东;王静;彭龙;李琢;王尚文设计研发完成，并于2024-05-17向国家知识产权局提交的专利申请。

本基于逐层参数编辑的大语言模型的优化方法在说明书摘要公布了：本发明公开了一种基于逐层参数编辑的大语言模型的优化方法，所述大语言模型由多层Transformer解码器组成，所述Transformer解码器包括前馈网络模块，所述优化方法包括：在Transformer解码器中，从第一关键层至最后关键层，对每一关键层进行参数编辑；每一关键层的参数编辑方法包括如下步骤：1估计大语言模型已编码的知识的键C0，2前馈网络模块上的批量目标知识表征作为值V1；3进入前馈网络模块之前的批量目标知识的隐藏状态作为键K1；4更新前馈网络模块的输出权重矩阵。本发明逐层完成参数更新，实现大语言模型的精准参数编辑，消除知识传播带来的信息丢失问题。

本发明授权基于逐层参数编辑的大语言模型的优化方法在权利要求书中公布了：1.基于逐层参数编辑的大语言模型的优化方法，所述大语言模型将输入词元转化为词表上的概率分布，所述大语言模型由多层Transformer解码器组成，所述Transformer解码器包括前馈网络模块，其特征在于：所述优化方法包括：在Transformer解码器中，从第一关键层至最后关键层，对每一关键层进行参数编辑；所说的关键层是存储了事实知识的关键层，由因果干预方法获取大语言模型的关键层，每一关键层的参数编辑方法包括如下步骤：1在网络百科数据集上采样多个样本文章形成样本向量作为大语言模型的输入词元，根据输入词元估计大语言模型已编码的知识的键C0，所述步骤1中，选取样本文章的模型最大输入长度的文本形成样本向量作为大语言模型的输入词元，其中，为二阶矩，λ为超参数；2前馈网络模块上的批量目标知识表征作为值V1；在前馈网络模块的输出隐藏状态上增加可学习向量作为目标知识表征，将压栈为值V1；3进入前馈网络模块之前的批量目标知识的隐藏状态作为键K1；键K1由压栈形成，令编辑的目标知识为xe,ye， 其中表示输入在进入前馈网络模块前的文本表征，表示在输入xe前拼接了前缀prefj；4使用W1＝W0+Δ更新前馈网络模块的输出权重矩阵，其中W1表示预期目标权重，W0为原始权重；Δ为权重增量；其中

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国人民解放军国防科技大学，其通讯地址为：410000 湖南省长沙市开福区德雅路109号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。