恭喜重庆大学刘铎获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜重庆大学申请的专利基于分布式机器学习的分组训练方法、服务器及客户端获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN114118210B 。
龙图腾网通过国家知识产权局官网在2025-05-27发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202111232230.7,技术领域涉及:G06F9/50;该发明授权基于分布式机器学习的分组训练方法、服务器及客户端是由刘铎;段莫名;吴宇;张斌艳;陈咸彰;任骜;谭玉娟;汪成亮设计研发完成,并于2021-10-22向国家知识产权局提交的专利申请。
本基于分布式机器学习的分组训练方法、服务器及客户端在说明书摘要公布了:本发明公开一种基于分布式机器学习的分组训练方法、服务器及客户端,所述分组训练方法基于客户端的本地优化目标梯度,将训练任务按优化目标拆分到对应的组共识模型中进行训练,减轻了由于隐含子优化目标冲突而导致的训练收敛速度下降,模型性能下降,训练抖动增加等问题,同时,本发明在训练的过程中还对客户端的本地训练数据偏移情况进行监测,当客户端的本地训练数据发生偏移时,更新客户端的分组信息,以使得每一客户端能在优化目标最相似的组模型中进行训练,有效减少了由于训练数据分布不平衡而导致机器学习模型的偏差问题。
本发明授权基于分布式机器学习的分组训练方法、服务器及客户端在权利要求书中公布了:1.一种基于分布式机器学习的分组训练方法,其应用于服务器,其特征在于,包括:向所有客户端发送初始模型,以使得所有所述客户端基于本地训练数据和所述初始模型计算得到对应的本地优化目标梯度;接收所有客户端上传的本地优化目标梯度,并对所有客户端的优化目标梯度进行聚类,得到N个客户端组和每一客户端组对应的组优化目标梯度;基于每一所述客户端组,创建对应于每一客户端组的组进程和组共识模型,以使得每一所述客户端分配到优化目标梯度最相似的组进程中进行组共识模型的训练;N大于等于1,其中,所述本地优化目标梯度是所述客户端基于本地训练数据和服务器发送的初始模型计算得到的;在上一训练轮训练结束后且当前训练轮训练开始前,接收训练数据分布发生偏移的客户端返回的分组更新信息;其中,所述客户端的分组更新选择信息是所述训练数据分布发生偏移的客户端基于当前本地优化目标梯度和每一所述组优化目标梯度的相似度的比较结果而选择的优化目标梯度相似度最高的组进程;根据所述分组更新信息,更新客户端的分组,以使得每一所述客户端在当前训练轮中分配到对应的组进程中进行组共识模型的训练;所述训练数据分布发生偏移的客户端通过以下方式判断:当所述客户端在当前训练轮的所有标签类别的偏离距离之和大于预设偏移距离时,判定所述客户端的训练数据分布发生偏移;其中,所述标签类别指的是训练样本的类别,每一标签类别的偏离距离是指所述客户端在当前训练轮的标签类别概率分布和上一次偏移发生时的标签类别概率分布之间的偏移距离;所述客户端在当前训练轮的标签类别概率分布和上一次偏移发生时的标签类别概率分布之间的偏移距离通过如下公式计算: 其中,dc表示偏移距离,EMD·表示两个分部之间的EMD距离,Pc为客户端在当前训练轮的标签类别概率分布,为客户端上一次偏移发生时的标签类别概率分布;所述接收所有客户端上传的本地优化目标梯度,并对所有客户端的优化目标梯度进行聚类,得到N个客户端组和每一客户端组对应的组优化目标梯度,具体包括:接收每一所述客户端上传的优化目标梯度,并根据如下公式计算每一客户端与其他客户端之间的基于压缩余弦相似度的欧式距离: V=SVDΔWT,N其中,EDCi,j为客户端i与客户端j的基于压缩余弦相似度的欧式距离,N为客户端组的个数,V为由机器学习算法SVD压缩的梯度矩阵,v为梯度矩阵V的列向量,Si,vT为客户端i的模型更新向量,Sj,vT为客户端j的模型更新向量,ΔWT为客户端模型更新向量组成的矩阵的转置矩阵;基于计算得到的所有EDC距离执行聚类算法,得到N个客户端组和每一客户端组对应的组优化目标梯度。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人重庆大学,其通讯地址为:404100 重庆市沙坪坝区沙正街174号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。