买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：浙江霖研精密科技有限公司

摘要：本发明公开了基于梯度正交化的跨部门联邦学习方法、系统及存储介质，属于信息安全的技术领域，本发明将所有客户端划分为活跃客户端和落后客户端，计算得到的全局梯度中同时包含了活跃客户端和落后客户端的梯度，保证了每次全局模型的更新中都有落后客户端的最新梯度参与。其次，本发明分别将活跃正交基、落后正交基发送给落后客户端、活跃客户端，并通过对本地训练过程中客户端的梯度进行正交化，减少了活跃客户端和落后客户端之间在更新方向上的差异，进而减少系统异构性对全局模型收敛所造成的影响。本发明既解决了存在与各行各业的数据孤岛问题，又有效解决了联邦学习中的系统异构性的问题，具有较好的实用性。

主权项：1.基于梯度正交化的跨部门联邦学习方法，其特征在于，包括以下步骤：步骤S1：基于异步通信，服务端根据上传最新梯度的响应及时性将所有客户端划分为活跃客户端和落后客户端；然后，服务端将更新后的全局模型发送给所有客户端；步骤S2：落后客户端和活跃客户端分别进行本地训练，计算用于更新本地模型的梯度： 针对落后客户端，b等于活跃正交基b1，其中活跃正交基b1为所有活跃客户端的最新梯度的平均值；针对活跃客户端，b等于落后正交基b2，其中落后正交基b2为所有落后客户端的最新梯度的平均值；其中：g为当前梯度； 为活跃正交基b1与落后正交基b2之间夹角的余弦值； 为当前梯度g与正交基b之间夹角的余弦值； 为当前梯度g投影至正交基b得到的投影分量；步骤S3：完成本地训练后，落后客户端和活跃客户端分别上传最新梯度至服务端；步骤S4：重复步骤S1至步骤S3，直到损失函数收敛；所述步骤S1中，服务端更新全局模型参数为当前全局模型参数减去全局梯度与学习率之商，所述全局梯度为所有客户端的最新梯度的平均值；所述步骤S2中，的计算公式如下： ，其中：为正交基b的范数； 为当前梯度g的范数；所述步骤S3中，最新梯度为落后客户端或活跃客户端的训练后的本地模型参数与训练前的本地模型参数的差值除以学习率；所述步骤S1中，服务端在设备中创建一个用于存储所有客户端最新梯度的内存空间；采用异步通信，在每轮通信中，服务端在向所有客户端发送全局模型之后，客户端发送最新梯度至服务端，服务端缓存所有客户端的最新梯度。

全文数据：

权利要求：

百度查询： 浙江霖研精密科技有限公司 基于梯度正交化的跨部门联邦学习方法、系统及存储介质