买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉南方科技大学申请的专利一种大语言模型训练方法、系统、设备及存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119398003B 。

龙图腾网通过国家知识产权局官网在2025-09-30发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411269532.5，技术领域涉及：G06F40/16；该发明授权一种大语言模型训练方法、系统、设备及存储介质是由游昌盛;龚博文;胡泽杨;文鼎柱设计研发完成，并于2024-09-11向国家知识产权局提交的专利申请。

本一种大语言模型训练方法、系统、设备及存储介质在说明书摘要公布了：本申请公开了一种大语言模型训练方法、系统、设备及存储介质，本方法通过将学生模型和大语言教师模型进行分割，分别部署在资源充足的中央控制器中和资源受限的客户端上，能确保客户端的本地数据仅对本地的网络结构进行训练，避免本地数据被泄露的风险，另外本方法通过中央控制器对计算负载大的网络结构进行训练，客户端仅对计算负载较小的网络结构进行训练，能够适应客户端设备的资源限制，使得资源受限的客户端能参与到模型的训练，而且通过知识蒸馏的方式，将教师模型的知识传递给学生模型，保证了数据不被泄露，也能显著降低对中央控制器的依赖。

本发明授权一种大语言模型训练方法、系统、设备及存储介质在权利要求书中公布了：1.一种大语言模型训练方法，其特征在于，用于中央控制器，所述方法包括： 接收来自多个客户端各自发送的第一特征和第二特征；所述第一特征是由所述客户端根据学生模型的第一网络结构从本地数据中提取的特征，所述第二特征是由所述客户端根据大语言教师模型的第一网络结构从所述本地数据中提取的特征，所述学生模型具有至少两个模型子结构，所述学生模型的第一网络结构包括所述至少两个模型子结构中的至少一个模型子结构，且所述学生模型的第一网络结构与所述大语言教师模型的第一网络结构相同； 将所述第一特征输入至所述学生模型的第二网络结构中，得到所述学生模型的第二网络结构输出的第三特征，以及将所述第二特征输入至所述大语言教师模型的第二网络结构中，得到所述大语言教师模型的第二网络结构输出的第四特征；所述学生模型的第二网络结构包括所述至少两个模型子结构中除所述第一网络结构之外的模型子结构，且所述学生模型的第一网络结构的复杂程度低于所述学生模型的第二网络结构的复杂程度，所述学生模型的第二网络结构与所述大语言教师模型的第二网络结构相同； 根据所述第一特征至所述第四特征更新所述学生模型的第二网络结构，得到所述学生模型的第二网络结构的更新参数，并且获取每一所述客户端对应的所述学生模型的第一网络结构的更新参数，所述学生模型的第一网络结构的更新参数是由每一所述客户端根据所述第一特征至所述第四特征更新所述学生模型的第一网络结构得到； 若每一所述客户端的所述学生模型的第一网络结构的更新参数和所述学生模型的第二网络结构的更新参数满足第一迭代结束条件，则得到由每一所述客户端对应的学生模型生成的大语言学生模型； 将所述学生模型的第二网络结构部署在所述中央控制器，所述客户端利用各自本地数据集独立训练对应学生模型的第一网络结构，所述中央控制器则接收来自所述客户端的前向传播和反向传播的梯度参数，并以此更新所述第二网络结构。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南方科技大学，其通讯地址为：518055 广东省深圳市南山区桃源街道学苑大道1088号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。