买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明属于联邦学习技术应用领域，尤其涉及一种基于参数分层的个性化联邦学习方法；本发明包括：客户端在联邦学习前对本地模型进行参数划分，得到基础层参数和个性化层参数，将基础层参数与个性化层参数在每次联邦学习中进行更新，并基于更新后的基础层参数对客户端进行聚类划分，从而获取每个小组的组平均权重上传给服务器，服务器更新基础层参数；联邦学习完成后得到最优的基础层参数下发给客户端，客户端采用本地数据对本地模型进行训练得到个性化的本地模型；本发明通过参数分层和联邦训练中的聚类划分可以缓解每个客户端的非独立同分布数据所带来的异质性问题，有助于每个客户端最终的模型更适应于它本地的数据。

主权项：1.一种基于参数分层的个性化联邦学习方法，其特征在于，包括以下步骤：S1.构建包括N个客户端和一个服务器的个性化联邦学习系统，服务器中设有参数初始化后的主模型；S2.客户端从服务器中下载主模型作为本地模型，所述主模型的参数被划分为基础层参数和个性化层参数；S3.客户端基于本地数据通过随机梯度下降改进本地模型的基础层参数和个性化层参数，获取基础层权重更新向量；每个客户端都是通过随机梯度下降改进本地模型的基础层参数和个性化层参数，从而获取本身的基础层权重更新向量，且客户端间的基础层参数更新过程相互独立；其中基础层权重更新向量的计算公式表示为： 其中，表示客户端i,i＝{1,2,,...,N}在第t个联邦学习轮次中采用随机梯度下降后得到的基础层权重，表示客户端i在第t个联邦学习轮次中采用随机梯度下降后得到的个性化层权重，表示第t-1个联邦学习轮次后服务器更新的基础层参数，表示客户端i在第t-1个联邦学习轮次中采用随机梯度下降后得到的个性化层权重，Ci表示从客户端i的本地数据中采样的批量数据，SGDi表示客户端i采用的随机梯度下降方法，表示客户端i在第t个联邦学习轮次中的基础层权重更新向量；S4.对基础层权重更新向量降维后得到三元向量矩阵，通过三元余弦相似度方法度量三元向量矩阵得到三元余弦相似性矩阵；获取客户端i,i＝{1,2,,...,N}的三元余弦相似性矩阵的过程包括：S31.采用奇异值分解算法对客户端i的基础层权重更新向量降维，得到客户端i的三元向量矩阵，表示为： 其中，Vi表示客户端i的三元向量矩阵，vi1、vi2和vi3表示客户端i的三元向量矩阵中的基本方向向量，表示客户端i在第t个联邦学习轮次中的基础层权重更新向量；S32.基于三元向量矩阵定义客户端i的三元余弦相似性，表示为： 其中，表示客户端i的三元余弦相似性，vscale表示基础层权重更新向量与三元向量矩阵乘积的逆矩阵，表示哈达玛矩阵的乘积运算符；S33.对客户端i的三元余弦相似性进行归一化，得到客户端i的三元余弦相似性矩阵，表示为： 其中，Μi表示客户端i的三元余弦相似性矩阵；S5.通过各客户端本身的三元余弦相似性矩阵计算客户端间的相似性距离，采用K-Medoids算法根据相似性距离和基础层权重更新向量对客户端进行聚类划分得到K个小组，每个小组进行内部聚合得到对应的组平均权重；获取每个小组的组平均权重的过程包括：S41.根据三元余弦相似性矩阵计算每两个客户端间的相似性距离，表示为： 其中，αi,j表示客户端i和客户端j的相似性距离，Μi表示客户端i的三元余弦相似性矩阵，Μj表示客户端j的三元余弦相似性矩阵；S42.随机选择K个客户端的三元余弦相似性矩阵作为聚类中心，通过相似性距离进行聚类划分，并采用代价函数衡量聚类质量，最终得到K个小组；S43.每个小组进行组内安全聚合得到对应的组平均权重，计算公式为： 其中，表示在第t个联邦学习轮次中小组gk的组平均权重，表示客户端i在第t个联邦学习轮次中的基础层权重更新向量，ci表示客户端i，表示小组gk的组成员集合；表示客户端i是小组gk的组成员，ni表示客户端i上的样本数量，n表示一个小组内所有客户端的总样本数量；所述代价函数Cost表示为：Cost＝Em-Em-1 其中，Em表示第m次小组更新结果的评价分数，Em-1表示第m-1次小组更新结果的评价分数，p表示聚类中心以外的客户端的三元余弦相似性矩阵，表示第m次小组更新中的第k个小组，ok表示第k个小组的聚类中心，K表示小组个数；S6.将所有组平均权重上传给服务器进行全局聚合，服务器得到更新后的基础层参数并下发给客户端；S7.判断是否达到联邦学习迭代阈值，若是，则进入步骤S8，否则返回步骤S3；S8.客户端固定本地模型的基础层参数，通过本地数据对本地模型进行随机梯度下降改进个性化参数，最终得到客户端的个性化模型；以最小化平均个性化群体损失为目的设置目标函数，表示为： 其中，WB表示经过联邦训练后所获得的最终的基础层参数，表示第一个客户端本地所拥有的个性化层参数，N表示参与联邦训练的所有客户端数量，表示第i个客户端个性化损失函数的数学期望，x,y表示客户端i的数据样本分布，表示第i个客户端的个性化层权重，f表示输出函数，l表示所有客户端通用的个性化损失函数。

全文数据：

权利要求：

百度查询： 重庆邮电大学 一种基于参数分层的个性化联邦学习方法