龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：深圳前海微众银行股份有限公司
摘要：本申请提供一种大模型训练系统的参数训练方法、装置及程序产品，包括第一计算节点获取第i次迭代训练产生的n个参数的梯度信息；第一计算节点根据第i次迭代训练产生的n个参数的梯度信息与第i‑1次迭代训练后的残留梯度和，确定第i次迭代总梯度；第一计算节点将第i次迭代总梯度中满足阈值条件的m个参数的梯度信息发送至参数节点；满足阈值条件的m个参数作为传输梯度；参数节点根据所有计算节点发送的第i次迭代训练的传输梯度，更新大模型在第i+1次迭代训练中使用的权重参数；第一计算节点从参数节点中获取第i+1次迭代训练中使用的权重参数，进行第i+1次迭代训练。该方案能够在减少通信量的情况下，维持大模型训练结果的准确度。
主权项：1.一种大模型训练系统的参数训练方法，其特征在于，所述大模型训练系统包括多个计算节点和参数节点；所述多个计算节点用于并行地执行大模型训练任务；所述参数节点，用于根据所述多个计算节点在每次迭代训练阶段产生的梯度信息，对大模型的权重参数进行更新；所述方法包括：第一计算节点获取第i次迭代训练产生的n个参数的梯度信息；其中，所述第一计算节点为所述多个计算节点中的任一节点；i和n为正整数；所述第一计算节点根据所述第i次迭代训练产生的n个参数的梯度信息与第i-1次迭代训练后的残留梯度和，确定第i次迭代总梯度；其中，所述残留梯度和是对历次迭代训练中不满足阈值条件的同一参数的梯度信息进行累加得到的；所述残留梯度和存储在所述第一计算节点；所述第一计算节点将所述第i次迭代总梯度中满足所述阈值条件的m个参数的梯度信息发送至所述参数节点；所述满足所述阈值条件的m个参数作为传输梯度；m为小于n的正整数；所述参数节点根据所有计算节点发送的第i次迭代训练的传输梯度，更新大模型在第i+1次迭代训练中使用的权重参数；所述第一计算节点从所述参数节点中获取第i+1次迭代训练中使用的权重参数，进行第i+1次迭代训练。
全文数据：
权利要求：
百度查询： 深圳前海微众银行股份有限公司 一种大模型训练系统的参数训练方法、装置及程序产品
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号