买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜山东省计算中心(国家超级计算济南中心);齐鲁工业大学(山东省科学院)申请的专利分布式机器学习系统中梯度异构双重优化方法、装置、电子设备及存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN118070929B 。

龙图腾网通过国家知识产权局官网在2024-09-17发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202410465104.3，技术领域涉及：G06N20/20；该发明授权分布式机器学习系统中梯度异构双重优化方法、装置、电子设备及存储介质是由杨明;李彩云;王鑫;吴晓明;霍吉东;穆超;陈振娅;贺云鹏;徐硕;吴法宗设计研发完成，并于2024-04-18向国家知识产权局提交的专利申请。

本分布式机器学习系统中梯度异构双重优化方法、装置、电子设备及存储介质在说明书摘要公布了：本发明属于分布式机器学习系统优化的技术领域，涉及一种分布式机器学习系统中梯度异构双重优化方法、装置、电子设备及存储介质。该方法包括：构建包含个节点和单个参数服务器的分布式学习系统，节点为诚实节点和恶意节点；基于诚实节点从其局部数据集选取的数据样本，计算并修正数据样本的局部梯度，以迭代优化本地梯度差异；引入动量项，将修正后的局部梯度与上一迭代轮次的动量向量结合，再将得到的当前迭代轮次的动量向量归一化为单位动量向量发送给参数服务器，得到局部聚合结果；对局部聚合结果进行全局聚合，以迭代优化全局梯度差异。本发明解决了由于本地梯度差异和全局梯度差异而制约系统在面对恶意节点和攻击时的鲁棒性表现的问题。

本发明授权分布式机器学习系统中梯度异构双重优化方法、装置、电子设备及存储介质在权利要求书中公布了：1.一种分布式机器学习系统中梯度异构双重优化方法，其特征在于，所述方法包括：S1：构建包含个节点和单个参数服务器的分布式学习系统，其中，所述节点分为诚实节点和恶意节点，每个诚实节点均具有一个包含个数据样本的局部数据集，所述局部数据集从用于进行土地覆盖类型分类任务的COVTYPE数据集中均匀分配得到；S2：依据预设迭代优化方式，基于所述诚实节点从其局部数据集中选取的数据样本，计算并修正所述数据样本的局部梯度，以迭代优化本地梯度差异，具体为： （2）；式（2）中：表示修正后的局部梯度，表示诚实节点的第个数据样本的局部梯度，表示上一迭代轮次中参数服务器聚合的全局梯度，表示诚实节点的随机梯度表中所有梯度的平均值，表示当前迭代轮次，表示当前迭代轮次的全局模型参数；S3：引入动量项，对于诚实节点，将修正后的所述局部梯度与对应的上一迭代轮次的动量向量结合，得到诚实节点对应的当前迭代轮次的动量向量，再将诚实节点对应的当前迭代轮次的动量向量归一化为单位动量向量并发送给参数服务器；其中，所述诚实节点对应的当前迭代轮次的动量向量为： （3）；式（3）中：表示诚实节点对应的当前迭代轮次的动量向量，表示上一迭代轮次的动量向量，为动量系数，表示修正后的局部梯度；对于恶意节点，直接将产生的恶意梯度发送给参数服务器，参数服务器对所述单位动量向量及恶意梯度进行聚合，得到局部聚合结果，具体为： （5）；式（5）中：表示第组向量局部聚合结果，向量包括诚实节点发送的单位动量向量及恶意节点发送的恶意梯度，表示每个组中的向量个数，且，表示个节点中诚实节点在每次迭代中向参数服务器上传一个单位动量向量及恶意节点在每次迭代中向参数服务器上传一个恶意梯度，且这些上传的向量共被分成组，表示向量序列中的第个向量；S4：对所述局部聚合结果进行全局聚合，得到全局梯度用于全局模型参数更新，以迭代优化全局梯度差异，其中，对所述局部聚合结果进行全局聚合，具体为： （6）；式（6）中：表示聚合后得到的全局梯度。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人山东省计算中心(国家超级计算济南中心);齐鲁工业大学(山东省科学院)，其通讯地址为：250000 山东省济南市历下区经十路东首科学院路19号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。