买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：湖南三湘银行股份有限公司

摘要：本发明公开一种基于客户端知识蒸馏的联邦学习实现方法。该方法包括：服务端在新一个通信轮次开始时，为每个客户端发送模型参数集合，模型参数集合根据所有客户端在上一个通信轮次提交给服务端的模型参数构成；每一个客户端接收到服务端发送的模型参数集合后，开始当前通信轮次的本地模型参数训练，本地模型参数训练时，将来自其他客户端的特征信息迁移到本地模型当中；客户端完成当前通信轮次的训练时，向服务端发送本地模型的参数；所有客户端发送回新的模型参数后，服务端根据新的模型参数生成新的集合，用于下一个通信轮次的训练；在不降低模型的性能的前提下降低了联邦学习建模所需的通讯轮次的数量，提高了利用多机构数据联合建模的效率。

主权项：1.一种基于客户端知识蒸馏的联邦学习实现方法，其特征在于，包括：服务端在新一个通信轮次开始时，为每个客户端发送模型参数集合，其中，所述模型参数集合是根据所有客户端在上一个通信轮次提交给服务端的模型参数构成的；当每一个客户端接收到服务端发送的模型参数集合后，开始当前通信轮次的本地模型参数训练，所述的本地模型是保存在客户端本地的模型；进行本地模型参数训练时，将来自其他客户端的特征信息迁移到本地模型当中；当客户端完成当前通信轮次的训练时，向服务端发送本地模型的参数；在等待所有客户端发送回新的模型参数之后，服务端根据所述新的模型参数生成新的集合，用于下一个通信轮次的训练；服务端在新一个通信轮次开始时，为每个客户端发送模型参数集合包括：在新的通信轮次t开始前，服务端根据公式向每个客户端k发送由上一个通信轮次t-1的其他客户端向服务端发送的模型参数所构成的其中，θk为客户端k在t-1通信轮次发送给服务端的模型，Θt-1为由上一个通信轮次t-1之后，所有的客户端向服务端发送的模型参数所构成的集合；当每一个客户端接收到服务端发送的模型参数集合后，开始当前通信轮次的本地模型参数训练包括：在通信轮次t的任意的客户端k，在收到服务端发送的模型参数集合后，将定义来自其他的客户端的特征信息EkXi,t如下： 其中，N为所有的客户端的数量，Xi为客户端k拥有的数据样本，fXi；θk为本地模型输出的预测分布；进行本地模型参数训练时，将来自其他客户端的特征信息迁移到本地模型当中包括：在通信轮次t的任意的客户端k，将定义的来自其他的客户端的特征信息EkXi,t迁移到本地模型参数θk中，得到使用KL散度度量预测的分布和平均分布的相似度： 其中，σ为激活函数，DKL为KL散度，将损失函数作为客户端k总体的损失函数的一部分。

全文数据：

权利要求：

百度查询： 湖南三湘银行股份有限公司 一种基于客户端知识蒸馏的联邦学习实现方法