买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明公开了一种面向横向联邦学习的低质数据主动忘却方法，属于深度学习技术领域。该方法首先找到包含低质量数据的客户端，并让这些客户端分别过滤它们本地的低质量数据。本发明用带噪声标签的数据来表示低质量数据。随后，通过消除低质量数据对模型的历史影响来提高全局模型的准确性。本发明弥补了低质量数据导致的模型精度下降问题，与FedRetrain和Rapidretraining相比，低质数据主动忘却方法在提高全局模型精度、减少预测损失和加速忘却速度方面有显著提高，这对于联邦学习系统以低成本提供高质量的智能服务具有重要意义。

主权项：1.一种面向横向联邦学习的低质数据主动忘却方法，其特征在于，该方法包括以下步骤：步骤一，分布式联邦学习系统全局模型下载所述分布式联邦学习系统由一个中心服务器和一些客户端组成，客户端用i＝{1,2，…N}表示；每个客户端i∈N通过其智能终端设备采集数据，并将数据存储在其本地数据集Dti＝{xl,yl|i∈N,l＝1,2，…}中，其中xl∈Rd表示一个d维输入样本向量，yl表示它的输出；在每轮训练t中，每个客户端利用采集到的私人数据对客户端初始模型进行机器学习训练，得到客户端本地模型；然后，由中心服务器负责收集并聚合经客户端训练的局部模型，得到全局模型，并将全局模型下发给客户端以进行新一轮的训练；对于每个学习任务，中心服务器上都有一个小型基准数据集，该数据集具有正确标记的样本和平衡的数据分布；在分布式联邦学习系统中，这个基准数据集用作测试模型的准确性和查找包含低质量数据的客户端的测试集；全局模型由服务器对收集到的所有客户端局部模型进行平均聚合而来，聚合公式为： 其中，ni为客户端的数据量；n为所有客户端数据量总和；为第t轮客户端i训练得到的本地模型，当Mt的上标为0时，表示这是一个初始全局模型，即参数经过随机初始化的模型；步骤二，数据收集和本地训练每个客户端i∈N收集数据并更新其本地数据集Dti；在下载全局模型Mt-1后，客户端利用其私有数据集dti在其本地终端设备上训练Mt-1，以获得其本地模型Mti；步骤三，模型更新上传客户端完成本地培训后，将本地模型参数更新上传至服务器；步骤四，聚合和测试服务器聚合从所有客户端收集的本地模型参数更新，以获得新一轮全局模型Mt；随后，服务器使用基准数据集测试聚合的全局模型Mt的预测准确率；一旦Mt的准确率与前一轮全局模型Mt-1的准确率相比下降，服务器就会暂停迭代训练过程，并发出取忘却学习请求；否则，将跳过步骤五至九，重复执行步骤一至四；步骤五，忘却请求服务器发起忘却请求，将受低质量数据影响的全局模型输入至基于服务器发起的联邦忘却模型中；步骤六，分类本地模型服务器首先识别包含低质量数据的客户端，然后这些客户端分别将其本地数据分为低质量数据和高质量数据；步骤七，低质量模型忘却客户端使用低质量数据通过梯度上升法训练客户端本地模型，以消除低质量数据；然后利用高质量的数据，采用增强训练方法对客户端本地模型进行多批次训练，消除梯度上升训练引入的模型偏差；然后，将剩余客户端的局部联邦忘却模型与普通局部模型进行聚合，得到全局忘却模型Mt'；步骤八，替换低质量数据模型基于服务器发起的联邦忘却模型输出忘却后的全局模型Mt'替换原有的全局模型Mt；步骤九，送回基于服务器发起的联邦忘却模型将更新后的本地模型发送回服务器，由服务器对更新后的本地模型进行聚合得到了消除低质量数据影响的全局模型。

全文数据：

权利要求：

百度查询： 大连理工大学 一种面向横向联邦学习的低质数据主动忘却方法