买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:华南理工大学;南方电网科学研究院有限责任公司
摘要:本发明公开了一种基于本地差分隐私和拆分混洗的联邦学习方法,联邦学习客户端首先在认证服务器中注册,在上传梯度信息之前,先使用隐私保护算法进行处理,然后对隐私保护梯度加密,生成一则消息发送给认证服务器。认证服务器对消息进行验证,验证完成后将梯度信息进行拆分混洗后发送给联邦学习服务器端,切断联邦学习服务器端中梯度信息与每一个联邦学习客户端的联系,增强隐私保护能力,同时保证模型的高性能。本发明使用指数机制的本地差分隐私,更好实现对梯度信息的差分隐私保护;然后将隐私保护梯度信息上传至认证服务器进行认证,保证梯度信息的正确性;最后将梯度信息上传至联邦学习服务器端之前,进行拆分混洗处理,提高隐私保护强度。
主权项:1.一种基于本地差分隐私和拆分混洗的联邦学习方法,其特征在于,所述联邦学习方法包括以下步骤:S1、初始化阶段:联邦学习服务器端将初始的模型参数θ0发送至联邦学习客户端,联邦学习客户端生成RSA公钥pk与RSA私钥sk,将RSA公钥pk发送至认证服务器中进行注册,得到自身id,然后接收联邦学习服务器端发送的模型参数θ0,在本地初始化模型;S2、模型训练:联邦学习客户端使用本地数据训练模型,在完成模型训练后使用隐私保护算法Φ处理模型的梯度信息g,生成隐私保护梯度g′;然后使用RSA私钥sk加密隐私保护梯度g′,得到密文c,并将密文c、隐私保护梯度g′与自身的id级联,组合成一则消息M发送给认证服务器;所述步骤S2过程如下:S2a、联邦学习客户端使用本地数据训练模型,将训练后模型的梯度表示为g=g1,g2,…,gn,其中gi表示梯度信息g第i维的实数值;S2b、将模型梯度信息g中每个维度的实数转化为[-c·10ρ,c·10ρ]内的一个整数r,其中,c表示整数域的范围,ρ表示实数的精度,在进行转化时一个实数只保留小数点后ρ位;S2c、计算r与区间[-c·10ρ,c·10ρ]内每个整数的分数,计算公式如下: 其中,y表示在区间[-c·10ρ,c·10ρ]内的一个整数,且y≠r;dr,y表示r和y之间的欧氏距离;α表示隐私参数,用于控制隐私保护强度;S2d、计算区间[-c·10ρ,c·10ρ]内每个整数被选中作为输出的概率,计算公式如下: 其中,表示区间[-c·10ρ,c·10ρ]内全部整数的分数总和;r′表示区间[-c·10ρ,c·10ρ]中被选中作为输出的整数,r′≠r;S2e、根据步骤S2d中计算的每个整数被选中的概率,从区间[-c·10ρ,c·10ρ]中挑选一个整数替换梯度信息g中的原始值;在对梯度信息g中的全部值完成替换后,得到隐私保护梯度g′;S2f、联邦学习客户端使用RSA私钥sk=D,N,计算用于认证服务器验证的隐私保护梯度g′的密文c=g′DmodN;S2g、联邦学习客户端将密文c、隐私保护梯度g′与自身id进行级联,得到消息M=c,g′,id,将消息M发送给认证服务器;S3、梯度信息认证与处理:认证服务器在接收到联邦学习客户端发送的消息后,对消息进行解析,根据id获取对应的RSA公钥pk,使用公钥pk解密密文c,将解密结果与隐私保护梯度g′比对,确认隐私保护梯度g′没有遭到替换或篡改;在收集全部联邦学习客户端的隐私保护梯度g′后,从中随机挑选出k个客户端的隐私保护梯度g′,对k个客户端的隐私保护梯度g′进行拆分混洗处理,得到梯度集合G,发送给联邦学习服务器端;S4、梯度信息聚合:联邦学习服务器端接收从认证服务器发送的梯度集合G,对梯度集合G中梯度信息进行聚合,然后使用聚合后的梯度信息更新认证服务器上的模型,在模型更新完成后得到新的模型参数θ1,将模型参数θ1发送给联邦学习客户端,开始新一轮迭代,在完成预先设定的总迭代轮次后,结束联邦学习方法。
全文数据:
权利要求:
百度查询: 华南理工大学 南方电网科学研究院有限责任公司 基于拆分混洗的联邦学习方法、装置、设备和介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。