买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京理工大学

摘要：本发明提出了一种基于真值发现的鲁棒性联邦学习模型聚合方法，属于机器学习中的联邦学习技术领域。所述基于真值发现的鲁棒性联邦学习模型聚合方法主要包括以下步骤：步骤1、搭建包含一个中心服务器和若干个客户端的联邦学习系统；步骤2、中心服务器将初始全局模型发送给客户端；步骤3、客户端用本地的数据集训练初始全局模型，而后得到本地模型，并将本地模型参数发送给中心服务器；步骤4、中心服务器接收客户端发送的本地模型参数，先估计客户端的权重再计算本地模型参数的真值，聚合得到全局模型参数，最后用余弦相似度过滤恶意客户端。所述聚合方法能抵御恶意中毒攻击，容忍系统中高达50％占比的恶意客户端，具有较强的鲁棒性。

主权项：1.一种基于真值发现的鲁棒性联邦学习模型聚合方法，其特征在于：具体包括以下步骤：步骤1：搭建包括中心服务器和客户端的联邦学习系统；其中，该系统中的客户端拥有自己的本地客户端计算资源和本地客户端数据集；中心服务器拥有自己的本地计算资源；步骤2：中心服务器初始化一个机器学习模型，得到初始全局模型；而后选择联邦学习系统中的全部客户端参与本轮训练，并将初始全局模型发送给参与本轮训练的客户端；步骤3：参与本轮训练的客户端接收初始全局模型，该客户端在本地客户端计算资源空闲时，利用其本地计算资源和本地数据集对初始的全局模型进行训练，得到更新后的本地模型，具体包括如下子步骤：步骤3.1：在本地计算资源空闲时，诚实客户端使用所持有的真实数据集训练从中心服务器处接收的初始全局模型，执行梯度下降方法，得到训练完毕的诚实本地模型；步骤3.2：在本地计算资源空闲时，恶意客户端发起中毒攻击并篡改用户的初始模型参数或篡改本地数据集，执行梯度下降方法后，得到训练完毕的恶意本地模型；步骤3.1的诚实客户端和步骤3.2的恶意客户端得到的训练完毕的诚实本地模型和恶意本地模型，统称为更新后的本地模型；步骤4：客户端上传更新后的本地模型参数给中心服务器；步骤5：中心服务器接收所有客户端上传的更新后的本地模型参数；步骤6：中心服务器需等待步骤5全部接收完毕后，再运行基于真值发现的鲁棒性聚合规则，通过初始化参数、估计客户端权重、聚合本地模型参数真值和余弦相似度阈值筛选得到更新后的全局模型参数；其中，步骤6运行基于真值发现的鲁棒性聚合规则，得到更新后的可靠的全局模型参数，包括如下子步骤：步骤6.1：初始化参数：第k个客户端在第i轮训练得到的本地模型的第m个参数为而其对应的本地模型参数的第i轮训练的第m个真值为其中，本地模型“真值”即理想情况下，无恶意客户端存在时，中心服务器期望获得的准确的本地模型参数值；将真值的集合表示为估计客户端的权重时，中心服务器首先统一初始化本地模型真值参数的X*；每个客户端的权重记为W＝{w1,w2,…,wk}，其中，wk为第k个客户端的权重；步骤6.2：估计客户端权重：服务器先初始化真值所有客户端的CNN本地模型参数真值构成集合每个客户端的权重可构成集合根据估算客户端权重，其中为欧几里得距离，根据此式计算客户端的本地模型参数真值与本地模型参数的欧几里得距离；步骤6.3：聚合本地模型参数真值：在这一步中，每个客户端的权重wk是固定的，客户端提供的本地模型参数与本地模型参数真值的差异越小，中心服务器为该客户端分配更高的权重，基于目前估计的源权重wk，由此式来更新第k个客户端的本地模型参数中第m个真值；将得到的本地模型参数的真值聚合为上述步骤6.2和步骤6.3统称为真值发现算法的过程，基于真值发现的鲁棒性聚合规则迭代运行步骤6.2和步骤6.3直到真值发现算法收敛；步骤6.4：余弦相似度阈值筛选：中心服务器计算聚合后的全局模型参数和每个客户端本地模型参数之间的余弦相似度，将余弦相似度大于阈值的本地模型所属客户端过滤掉；步骤7：中心服务器将过滤后留下的客户端视为诚实可信的客户端，组织这部分客户端继续参与下一轮的本地模型训练；中心服务器发送聚合后的全局模型参数给经过筛选后留下的客户端；步骤8：留下的客户端接收全局模型参数后，继续从步骤3.1重新开始训练；用自己的本地计算资源训练本地数据集，然后更新本地模型，再将更新后的本地模型参数发送给中心服务器，中心服务器从步骤6.2开始继续运行至步骤7直至模型收敛。

全文数据：

权利要求：

百度查询： 北京理工大学 一种基于真值发现的鲁棒性联邦学习模型聚合方法