买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：清华大学

摘要：本发明提供一种针对联邦学习通信开销的优化处理方法及装置。该方法包括：将初始全局模型分发到本地客户端，获得本地客户端基于自适应梯度量化模型得到的当前轮次的目标量化等级；目标量化等级用于对本地客户端在当前轮次上传的梯度进行量化；基于惰性梯度聚合模型，确定是否获取本地客户端在当前轮次对应的量化梯度；量化梯度是本地客户端基于目标量化等级对当前轮次上传的梯度进行量化得到的；对量化梯度进行聚合处理，并根据聚合结果更新初始全局模型，得到下一轮次对应的目标全局模型。本发明提供的方法，通过自适应梯度量化模型动态调整量化等级，同时通过惰性梯度聚合模型调整通信频率，有效提高了通信效率，并减少了通信开销。

主权项：1.一种针对联邦学习通信开销的优化处理方法，应用于中心服务器，其特征在于，包括：将初始全局模型分发到本地客户端，并获得所述本地客户端基于预设的自适应梯度量化模型得到的当前轮次的目标量化等级；所述目标量化等级用于对所述本地客户端在当前轮次上传的梯度进行量化；所述自适应梯度量化模型对应的公式1如下： 式中，表示第m个本地客户端在第k轮次的目标量化等级，其中表示量化等级；b0表示每个本地客户端对应的初始量化等级；表示自适应过程，是模型训练中自适应得到的，其中表示第m个本地客户端在第1轮次对应的量化梯度，表示第m个本地客户端在第k轮次对应的量化梯度，表示第m个本地客户端在第0轮次实际上传的量化梯度；表示第m个本地客户端在第k-1轮次实际上传的量化梯度；m表示第m个本地客户端；基于预设的惰性梯度聚合模型，确定是否获取所述本地客户端在当前轮次对应的量化梯度；其中，所述量化梯度是所述本地客户端基于所述目标量化等级对当前轮次上传的梯度进行量化得到的；所述惰性梯度聚合模型对应的公式2如下： 式中，表示第m个本地客户端在第k轮次用目标量化等级去量化一个梯度得到的一个量化梯度；表示第m个本地客户端在第k-1轮次实际使用的量化梯度去量化一个梯表示梯度范围阈值，θ是全局模型的参数；D表示总共的轮次；表示真实梯度和量化梯度的差值；表示量化后的量化梯度与原始梯度的差距；ξd和α是两个超参数，其中ξd为量化梯度的惩罚项；对所述量化梯度进行聚合处理，并根据聚合结果更新所述初始全局模型，得到下一轮次对应的目标全局模型。

全文数据：

权利要求：

百度查询： 清华大学 一种针对联邦学习通信开销的优化处理方法及装置