龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：南京大学;南京财经大学
摘要：本发明公开了一种联邦学习客户端通信压缩方法、客户端装置及联邦学习系统，方法包括：在当前迭代轮次下，从服务器接收最新模型wi，通过多次训练完成局部训练，得到模型wi′；使用wi与上一次参与训练保存的模型w0的差值，和当前参与训练的迭代轮次ti与上次参与训练时的迭代轮次t0的差值，求比值获得全局更新梯度预估值根据wi′与wi的差值，获得模型的训练梯度gi；使用和gi求得梯度的贡献度Wi；基于当前迭代轮数的梯度的贡献度大小，完成梯度矩阵稀疏化，将稀疏化后的梯度上传至服务器。本发明考虑用户偏移程度，能够在减少通信代价的同时，缓解数据非独立同分布对于模型收敛的稳定性和最终性能的影响。
主权项：1.一种联邦学习客户端通信压缩方法，其特征在于，所述方法在联邦学习客户端上执行，包括以下步骤：在当前全局迭代轮次下，从服务器接收最新模型wi，使用本地数据完成局部训练，得到本地训练更新后的模型wi′；使用当前全局迭代轮次收到的最新模型wi与上一次参与训练保存下来的模型w0的差值，和当前参与训练的全局迭代轮次ti与上次参与训练时全局迭代轮次t0的差值，求比值获得全局更新梯度预估值根据本地训练更新后的模型wi′与当前全局迭代轮次收到的最新模型wi的差值，获得模型的训练梯度gi＝wi′-wi；使用全局更新梯度预估值和模型的训练梯度gi进行哈达玛积，求得梯度的贡献度基于梯度的贡献度Wi，通过TopK算法获取贡献度小于指定阈值的梯度，进行置0处理，完成梯度矩阵稀疏化，将稀疏化后的梯度上传至服务器。
全文数据：
权利要求：
百度查询： 南京大学 南京财经大学 联邦学习客户端通信压缩方法、客户端装置及联邦学习系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号