买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉复旦大学申请的专利基于参数高效微调的大型语言模型训练方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119578545B 。

龙图腾网通过国家知识产权局官网在2025-07-15发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411629653.6，技术领域涉及：G06N5/04；该发明授权基于参数高效微调的大型语言模型训练方法是由高跃;陈哲;林政;方子涵;胡渲杰设计研发完成，并于2024-11-15向国家知识产权局提交的专利申请。

本基于参数高效微调的大型语言模型训练方法在说明书摘要公布了：本发明公开了一种基于参数高效微调的大型语言模型训练方法。大型语言模型训练方法包括：针对训练对象的大型语言模型，将大型语言模型划分为客户端预训练模型和服务器端预训练模型两部分；联合客户端预训练模型和服务器端预训练模型共同进行并行协作训练，在训练过程中，采用参数高效微调技术来对客户端预训练模型和服务器端预训练模型进行并行训练；待训练完成后，采用模型聚合的方法，将客户端预训练模型和服务器端预训练模型合并起来；重复上述步骤，直至作为训练对象的大型语言模型收敛为止。本发明的大型语言模型训练方法基于分割联邦学习框架，并且结合了FL的并行训练优势和SL的模型分割优势，大大提高了训练效率。

本发明授权基于参数高效微调的大型语言模型训练方法在权利要求书中公布了：1.一种基于参数高效微调的大型语言模型训练方法，其特征在于：所述大型语言模型训练方法包括： S1，针对作为训练对象的大型语言模型，将所述大型语言模型划分为客户端预训练模型和服务器端预训练模型两部分； S2，联合客户端预训练模型和服务器端预训练模型共同进行并行协作训练，在训练过程中，采用参数高效微调技术来对客户端预训练模型和服务器端预训练模型进行并行训练； S3，待训练完成后，采用模型聚合的方法，将客户端预训练模型和服务器端预训练模型合并起来； S4，重复上述步骤S2至S3，直至作为训练对象的大型语言模型收敛为止； 所述步骤S2具体包括： S21，初始化并行协作训练环境： 1）客户端模型初始化：在所有客户端设备上加载初始的预训练模型，所述预训练模型为一个通用的预训练大语言模型副本； 2）服务器模型初始化：在中央服务器端加载对应的预训练模型副本，以确保模型版本和客户端保持一致； 3）准备参数高效微调技术：选择需要的微调方法并初始化其对应的参数设置； S22，数据分配与预处理： 1）客户端数据预处理：各个客户端设备读取本地数据集，进行数据清洗、分词和编码操作，保证数据格式统一； 2）分片与同步：将预处理后的数据分片并准备好批次处理，同时与服务器端进行初步数据分布规划的同步； S23，初步激活值计算： 1）局部训练：每个客户端在本地数据片上使用当前预训练模型进行初步的前向传播，计算激活值； 2）激活值缓存：将计算出的激活值暂存于本地，准备与服务器端进行同步； S24，梯度聚合与同步： 1）上传局部激活值：各个客户端将计算的激活值上传到服务器端； 2）服务器端梯度更新：服务器端接收所有客户端上传的激活值，进行前向传播和后向传播，计算全局梯度更新方向； 3）参数更新：在服务器端对服务器端预训练模型的参数进行一次更新； 4）分发梯度值：服务器端将经过梯度值分发回各个客户端； 5）客户端梯度更新：客户端接收服务器端下传的梯度，进行反向传播，并更新客户端模型参数； S25，模型参数同步回客户端： 1）分发更新模型参数：服务器端将经过全局梯度更新后的模型参数分发回各个客户端； 2）本地更新：各个客户端接收到新参数，更新其本地模型，准备进行下一轮训练； S26，循环与增强训练： 1）多轮协作训练：反复执行步骤S23至S26，进行多轮梯度计算、更新和高效微调，逐步提升模型的性能； 2）周期性评价：在特定的迭代频率后，进行模型性能的评价，以确定训练效果和微调策略的优化程度； S27，动态调优与模型收敛： 具体来说，该步骤包括： 1）动态参数调整：根据模型在训练过程中的表现，动态调整高效微调技术的超参数； 2）收敛判断：通过监测模型在验证集上的性能指标，判断模型是否达到收敛状态。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人复旦大学，其通讯地址为：200433 上海市杨浦区邯郸路220号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。