买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：河海大学;南京思隽科技有限公司

摘要：本发明公开一种基于梯度动态裁剪的联邦数据分析系统及方法，通过动态生成裁剪阈值技术，将客户端上传到服务端的含有一定噪声的梯度进行裁剪，在不降低隐私保护的前提下，提高模型的精度。由于没有先验的界限，噪声对梯度的影响差异大，导致准确率降低。因此，设置合适的剪裁阈值能够很好的提升训练模型准确率。首先根据每一轮迭代梯度范数变化的实际情况和裁剪损失，构建动态裁剪阈值函数，调整梯度裁剪阈值。基于梯度范数整体变化的整体趋势，计算渐变衰减裁剪阈值拟合曲率，调整跟随梯度变化的动态裁剪阈值。最后根据动态的裁剪阈值对上传的梯度进行裁剪。

主权项：1.一种基于梯度动态裁剪的联邦数据分析方法，其特征在于，包括以下步骤：步骤1根据每个边端设备保存的监测数据，通过联邦学习算法训练监测数据分析模型，在每一轮联邦训练之初，参数服务器从边端设备群中随机选择k个设备参与该轮训练，服务器聚合梯度更新全局的监测数据分析模型M，简称全局模型，并将全局模型发送给选定的k个边端设备；步骤2构建动态裁剪阈值函数：每个本地客户端在训练时都需要计算裁剪损失函数LtLoss，根据裁剪损失函数计算导数的期望和导数的平均值再利用动态裁剪阈值函数依次在每个迭代回合计算动态裁剪阈值Ct+1；步骤3构建裁剪阈值的自适应衰减率：对于参数服务器使用幂函数构造衰减系数Ft，再在每一个迭代回合通过训练信息利用式递推得到自适应衰减率ρt；步骤4构建跟随梯度变化的动态裁剪阈值：基于步骤2和3得到的动态裁剪阈值Ct和自适应衰减率ρt，根据式得到最终动态裁剪阈值；步骤5客户端在本轮训练中计算批次的梯度，根据上一轮迭代计算出的动态裁剪阈值对梯度进行裁剪，随后根据裁剪阈值对噪声放缩，再将噪声添加到梯度上；服务器根据聚合后的梯度值更新服务器上的全局模型，并下发给各个客户端更新模型；在模型训练的每一个回合按序执行1-5步骤，直到最终迭代回合完成模型训练的动态裁剪过程；所述步骤2构建动态裁剪阈值函数中，设训练一共具有T轮，参与训练的客户端数量为k，客户端上本轮的梯度为其中t∈T；对每一个裁剪阈值Ct，裁剪损失函数LtLoss的定义为： 裁剪损失函数导数的期望定义为： 其中，期望∈[-0.5,0.5]；对于与k个客户端通信的服务器来说，损失函数导数的平均值定义为： 其中Numθ函数表示条件θ成立时的数量和，初始裁剪阈值C0定义为第一迭代回合模型训练的梯度范数，其具体定义为： 第t+1轮迭代的动态调整裁剪阈值定义为： 所述步骤3选用幂函数F＝xa构造衰减梯度阈值函数；根据幂函数的性质定义在第t轮相较于首轮的衰减系数Ft定义为： 通过数学归纳法得到第t迭代回合的自适应衰减率ρt公式为：

全文数据：

权利要求：

百度查询： 河海大学 南京思隽科技有限公司 基于梯度动态裁剪的联邦数据分析系统及方法