买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京信息工程大学

摘要：本发明公开了图像识别领域的一种基于异构和长尾数据的联邦学习方法及系统，方法包括：客户端接收全局模型和重训练模型，以及获取异构和长尾数据集，并对全局模型进行本地训练，以及利用重训练模型计算真实特征的梯度；客户端将本地模型和真实特征的梯度发送到服务器端聚合，得到聚合后的全局模型和类C的聚合特征梯度；服务器端构建类C的虚拟特征，并计算虚拟特征梯度，通过比较两个特征梯度之间的差异，选择一个最优的虚拟特征梯度，并获得对应的最新虚拟特征；服务器端将聚合后的全局模型和最新的重训练模型发送至客户端，完成当前迭代轮次的训练；本发明能够解决因异构和长尾数据导致联邦学习准确率低问题，从而有效保护数据的隐私。

主权项：1.一种基于异构和长尾数据的联邦学习方法，其特征在于，包括，在每一个迭代训练轮次中：客户端从服务器端接收全局模型和重训练模型，以及获取异构和长尾数据集；其中，异构和长尾数据集为图像数据集的子集合；客户端基于所述异构和长尾数据集，采用特征表示学习方法对所述全局模型进行本地训练，得到本地模型，以及利用所述重训练模型提取所述异构和长尾数据集的真实特征，并计算出所述真实特征的梯度；客户端将所述本地模型和所述真实特征的梯度发送到服务器端；服务器端对来源于多个客户端的所述本地模型和所述真实特征的梯度分别进行聚合，得到聚合后的全局模型以及类C的聚合特征梯度，其中，类C表示所有客户端的异构和长尾数据集中的任意一类；服务器端构建类C的虚拟特征，根据所述类C的虚拟特征计算虚拟特征梯度，采用梯度匹配损失监督法获取所述类C的聚合特征梯度和虚拟特征梯度之间的差异，根据特征梯度之间的差异选择一个最优的虚拟特征梯度，根据所述最优的虚拟特征梯度获得对应的最新虚拟特征；其中，基于类C的聚合特征梯度和虚拟特征梯度的差值，采用梯度匹配损失监督构建最小损失函数；通过所述最小损失函数调整模型参数，使得所述类C的聚合特征梯度和虚拟特征梯度的差异最小；根据梯度的最小差异，获得最优的虚拟特征梯度；所述最小损失函数的计算表达式，包括： ；其中，表示基于模型的最小损失函数；表示使用全局模型权重和输入x的模型输出；表示全局模型权重；x表示原始输入数据；y是真实标签；表示监督对比损失函数；表示对增强后的输入数据x'的模型输出；表示第一次数据增强后的输入数据；表示对增强后的输入数据x''的模型输出；表示第二次数据增强后的输入数据；表示交叉熵损失函数；表示模型的预测结果；表示平衡因子；r表示轮数；表示准确率；C表示全局模型的分类器；表示客户端k的本地模型的分类器；表示一个依赖于轮数r和准确率a的动态调整的平衡因子；表示全局模型的分类器C与局部模型的分类器之间的距离；服务器端利用所述最新虚拟特征重新训练所述聚合后的全局模型中的分类器，得到更新的重训练模型；服务器端将所述聚合后的全局模型和更新的重训练模型发送至客户端，完成当前迭代轮次的训练；当达到预设的迭代轮次，得到联邦学习训练完成的模型。

全文数据：

权利要求：

百度查询： 南京信息工程大学 一种基于异构和长尾数据的联邦学习方法及系统