Document
拖动滑块完成拼图
首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

利用弹性权重巩固(EWC)损失项来减轻机器学习模型的联邦学习中的灾难性遗忘 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

摘要:本文公开的实现方式涉及在全局机器学习ML模型的联邦学习中利用弹性权重巩固EWC损失项。实现方式可以识别基于服务器数据集在远程服务器处进行初始训练的全局ML模型,确定全局ML模型的全局权重的EWC损失项,并向多个客户端装置传输全局ML模型和EWC损失项。可以基于服务器数据集的Fisher信息矩阵确定EWC损失项。此外,多个客户端装置可以基于使用全局ML模型处理对应的预测的输出并基于EWC损失项来生成对应客户端梯度,并向远程服务器传输对应客户端梯度。实现方式可以进一步基于至少对应客户端梯度生成经更新的全局ML模型。

主权项:1.一种由一个或多个处理器实现的方法,所述方法包括:在远程服务器处识别全局机器学习ML模型,所述全局ML模型基于服务器数据集在所述远程服务器处进行初始训练,并且所述全局ML模型包括一个或多个全局权重;在所述远程服务器处基于所述一个或多个全局权重确定所述服务器数据集的Fisher信息矩阵;在所述远程服务器处基于所述Fisher信息矩阵确定所述一个或多个全局权重中的每个全局权重的对应弹性权重巩固EWC损失项;从所述远程服务器向多个客户端装置传输i所述全局ML模型和ii所述一个或多个全局权重中的每个全局权重的所述对应EWC损失项,其中,向所述多个客户端装置中的给定客户端装置传输i所述全局ML模型和ii所述一个或多个全局权重中的每个全局权重的所述对应EWC损失项使所述给定客户端装置:基于在所述给定客户端装置处本地使用所述全局ML模型处理给定客户端数据并基于所述一个或多个全局权重中的每个全局权重的所述对应EWC损失项来生成用于在更新所述一个或多个全局权重时利用的给定客户端梯度;以及从所述给定客户端装置向所述远程服务器传输所述给定客户端梯度;以及基于至少所述给定客户端梯度来生成经更新的全局ML模型,所述经更新的全局ML模型包括一个或多个经更新的全局权重。

全文数据:

权利要求:

百度查询: 谷歌有限责任公司 利用弹性权重巩固(EWC)损失项来减轻机器学习模型的联邦学习中的灾难性遗忘

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。