买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：武汉大学

摘要：本发明公开了一种克服领域差异的公平联邦学习方法、系统及设备，首先进行本地模型更新；然后计算本地模型的每一个参数的梯度一致性程度，其中，梯度一致性表示当前轮次梯度正负与客户端历史更新梯度正负的一致性比例；接着基于参数的梯度一致性来判定参数的重要性，选择保留重要参数，忽略不重要参数；计算无偏的本地模型聚合权重；最后基于参数的重要性及无偏的本地模型聚合权重，进行本地模型聚合。本发明是一种既能有效应对领域差异带来的挑战，又能增强整体性能和公平性的联邦学习方法。

主权项：1.一种克服领域差异的公平联邦学习方法，其特征在于，包括以下步骤：步骤1：本地模型更新；在第t轮，客户端m使用其私有图像数据集Dm训练本轮初始获得的全局模型，从而获得本地模型wmt；其中，，Nm代表客户端m的数据大小，1≤m≤M，M为客户端总数；Dm表示私有图像数据集，总共有Nm个图像数据，xi表示第i个图像数据，yi表示xi这个图像对应的标签；其中，本地模型变化量定义为，G表示参数的总数，表示本地模型wmt中第i个参数的变化量，记为梯度；步骤2：计算本地模型的每一个参数的梯度一致性程度，其中，梯度一致性表示当前轮次梯度正负与客户端历史更新梯度正负的一致性比例；其中，第i个参数的在第t轮的梯度一致性表示其梯度的正负与其第1至n-1轮内正负的一致性比例，使用动态规划计算增量比例列表lm来实现： ； ；其中，是在第t轮前参数增加的比例，通过动态规划算法更新每轮中的；I是指示函数，当为真时，I=1，否则I=0；则第i个参数的梯度一致性为： ；其中，代表客户端m第i个参数的梯度一致性；步骤3：基于参数的梯度一致性来判定参数的重要性，选择保留重要参数，忽略不重要参数；步骤4：计算聚合得到无偏的全局模型时每个本地模型被分配的聚合权重；步骤4的具体实现包括以下子步骤：步骤4.1：定义全局模型与客户端m在第t轮的本地模型wmt之间的距离为，其中是欧几里得距离的平方；为最小化全局模型与每个客户端本地模型之间距离的方差，引入以下优化目标： ； ；其中，表示无偏见的全局模型，表示聚合全局模型时分配给客户端m的本地模型的聚合权重；表示解右侧函数达到最小时的值，表示求集合内方差，表示约束条件，表示任取一个m；在第t轮中，测量训练后的客户端本地模型与全局模型之间的距离： ；其中，G表示全局模型的参数总数量；I是指示函数，当为真时，I=1，否则I=0；为阈值超参数，客户端m第i个参数的梯度一致性，表示其为重要参数，否则为不重要参数；表示本地模型wmt中第i个参数的变化量；步骤4.2：应用动量更新策略更新每个客户端本地模型的聚合权重； ； ； ；其中，dj指全局模型与第j个客户端的本地模型之间的距离，j为索引；是一个速率超参数；表示归一化前的客户端m本地模型被分配到的聚合权重，表示归一化前的客户端j本地模型被分配到的聚合权重，j为索引；表示客户端m本地模型t轮权重更新变化量；表示归一化后的客户端m本地模型被分配到的聚合权重，总和为1；步骤5：基于参数的重要性及无偏的本地模型的聚合权重，进行本地模型聚合。

全文数据：

权利要求：

百度查询： 武汉大学 一种克服领域差异的公平联邦学习方法、系统及设备