买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉鼎富智能科技有限公司申请的专利一种自然语言处理模型的训练方法和装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114625840B 。

龙图腾网通过国家知识产权局官网在2025-07-08发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210272019.6，技术领域涉及：G06F16/334；该发明授权一种自然语言处理模型的训练方法和装置是由李健铨;刘小康;胡加明设计研发完成，并于2022-03-18向国家知识产权局提交的专利申请。

本一种自然语言处理模型的训练方法和装置在说明书摘要公布了：本申请提供了一种自然语言处理模型的训练方法和装置，该方法包括：获取每一层为采用自注意力机制的层结构的预训练语言模型，获取每一层用于学习NLP任务中的第一任务的第一可学习向量矩阵和第二可学习向量矩阵，然后根据第一可学习向量矩阵和第二可学习向量矩阵生成每一层的第一拼接键向量矩阵和第一拼接值向量矩阵，最后利用第一任务的训练样本数据对第一可学习向量矩阵和第二可学习向量矩阵进行训练。通过第一拼接键向量矩阵和第一拼接值向量矩阵使得第一可学习向量矩阵和第二可学习向量矩阵参与到训练中，由于固定预训练语言模型，大大减少训练参数；使可学习向量矩阵先学习NLP基础任务再学习NLP上层任务，能够提升小样本的学习能力。

本发明授权一种自然语言处理模型的训练方法和装置在权利要求书中公布了：1.一种自然语言处理模型的训练方法，其特征在于，包括： 获取预训练语言模型，所述预训练语言模型的每一层为采用自注意力机制的层结构； 获取每一层的第一可学习向量矩阵和第二可学习向量矩阵，所述第一可学习向量矩阵和所述第二可学习向量矩阵均用于学习NLP任务中的第一任务，每一层的第一可学习向量矩阵由当前层的第三可学习向量矩阵与当前层之前参与的所有NLP任务训练得到的可学习向量矩阵拼接得到，每一层的第二可学习向量矩阵由当前层的第四可学习向量矩阵与当前层之前参与的所有NLP任务训练得到的可学习向量矩阵拼接得到，其中，所述第三可学习向量矩阵和所述第四可学习向量矩阵均为被设置为学习所述第一任务的向量矩阵，所述NLP任务包括NLP基础任务和NLP上层任务，所述NLP基础任务包括词性分析任务、语块分析任务和依存句法分析任务，所述NLP上层任务包括命名实体识别任务、文本语义相关任务、文本蕴含任务和分类任务； 生成每一层的第一拼接键向量矩阵和第一拼接值向量矩阵，所述第一拼接键向量矩阵由当前层的第一可学习向量矩阵与当前层的键向量拼接得到，所述第一拼接值向量矩阵由当前层的第二可学习向量矩阵与当前层的值向量拼接得到； 向所述预训练语言模型输入所述第一任务的训练样本数据，根据每一层的第一拼接键向量矩阵、第一拼接值向量矩阵和当前层的查询向量计算当前层的输出，根据最后一层的输出和所述第一任务的损失函数得到每一层最优的第一可学习向量矩阵和第二可学习向量矩阵。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人鼎富智能科技有限公司，其通讯地址为：230000 安徽省合肥市高新区习友路3333号A1楼19层-B区；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。