龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：南京大学
摘要：本发明公开一种基于有序动量的异步分布式机器学习方法，基于有序动量的思想，将动量引入异步随机梯度下降法。在服务器端将梯度按照其迭代索引的顺序组织成有序动量。这里的有序动量是若干个梯度存储桶的加权和，梯度到达服务器端后，根据其迭代索引放入相应的梯度存储桶中。相比较异步随机梯度下降方法，本方法不引入除了动量项外的额外存储开销，并且可以有效提升算法的收敛性能和模型的泛化性能。相比较现有的带动量的同步分布式机器学习方法，本方法可以大幅度提升训练集群分布式训练的速度，尤其是在训练集群中各工作节点计算能力异构的场景下，本方法的速度优势更加明显。
主权项：1.一种基于有序动量的异步分布式机器学习方法，其特征在于，包括如下内容：11在服务器端初始化模型参数、动量、迭代索引和最新梯度存储桶索引，服务器向所有的工作节点发送初始模型参数和迭代索引；12服务器基于最新梯度存储桶索引判断属于下一个梯度存储桶的梯度是否正在被某个工作节点计算；如果是，则执行更新参数、动量和最新梯度存储桶索引；否则，参数、动量和最新梯度存储桶索引均保持不变；从某个工作节点接收梯度和该梯度的迭代索引，使用该梯度更新动量和参数，更新迭代索引；将更新后的参数和迭代索引返还给工作节点；直到模型训练结束；21在某个工作节点上训练流程的具体步骤为：输入训练数据；接收服务器节点发送的模型参数及其迭代索引；从本地数据集中随机采样训练数据，根据挑选出的训练数据，计算出随机梯度，发送计算出的随机梯度及迭代索引到服务器节点，判断是否收到服务器节点发送的停止工作消息，若否，继续接收服务器节点发送的模型参数及其迭代索引进行梯度计算参与模型训练；否则结束训练。
全文数据：
权利要求：
百度查询： 南京大学 一种基于有序动量的异步分布式机器学习方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号