福建师范大学;中国热带农业科学院热带生物技术研究所汪晓丁获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉福建师范大学;中国热带农业科学院热带生物技术研究所申请的专利一种基于动量对齐技术的异构联邦学习方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN118569355B 。
龙图腾网通过国家知识产权局官网在2025-09-30发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202410655018.9,技术领域涉及:G06N3/098;该发明授权一种基于动量对齐技术的异构联邦学习方法是由汪晓丁;阙友雄;许力;赵敏;吴期滨;江磊设计研发完成,并于2024-05-24向国家知识产权局提交的专利申请。
本一种基于动量对齐技术的异构联邦学习方法在说明书摘要公布了:本发明公开一种基于动量对齐技术的异构联邦学习方法,包括步骤:s1服务器将当前轮次的全局模型、全局动量发送给经过随机采样后的客户端;s2在每个选中的客户端上,使用经过全局动量加速后的全局模型作为本地模型的初始化。然后计算总体损失函数,并对初始化后的本地模型进行一定轮次的梯度下降。最后将经过梯度下降后的本地模型上传服务器;s3服务器聚合客户端上传的本地模型得到下一轮的全局模型,并计算下一轮的全局动量。本发明有效地解决了分布式学习中数据异质性导致的模型偏移问题并提高了模型的泛化性。
本发明授权一种基于动量对齐技术的异构联邦学习方法在权利要求书中公布了:1.一种基于动量对齐技术的异构联邦学习方法,其特征在于:其包括步骤: S1、服务器将当前轮次的全局模型、全局动量发送给经过随机采样后的客户端; S2、在每个选中的客户端上使用经过全局动量加速后的全局模型作为本地模型的初始化;计算总体损失函数,并对初始化后的本地模型进行设定轮次的梯度下降;最后将经过梯度下降后的本地模型上传至服务器; S3、服务器聚合客户端上传的本地模型得到下一轮的全局模型,并计算下一轮的全局动量; 其中,步骤S2具体包括以下步骤: S20、每个选中的客户端使用经过全局动量加速后的全局模型初始化本地模型; S21、计算第k个客户端的模型预训练损失,计算公式如下: 其中,表示模型预训练损失,ω表示正在训练的模型;lk表示交叉熵损失函数;x,y∈Dk表示来自本地数据集的样本; S22、计算第k个客户端的模型激活损失,计算公式如下: 其中,表示模型激活损失;l表示层索引,是卷积层或全连接层;al表示非线性激活后的第l层,L表示总的层数;E表示期望操作,通过对小批量进行平均来近似计算; S23、计算第k个客户端的模型对齐损失,计算公式如下: 其中,表示模型对齐损失;mkω表示第k个客户端的本地动量,mt是全局动量; S24、计算模型的总体损失函数,计算公式如下: 其中,γpre表示模型预训练损失的可调整的超参数,γact表示模型激活损失的可调整的超参数和γmom表示模型对齐损失的可调整的超参数,通过调整对应的值来平衡模型预训练损失、模型激活损失和模型对齐损失的重要性。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人福建师范大学;中国热带农业科学院热带生物技术研究所,其通讯地址为:350108 福建省福州市大学城科技路1号福建师范大学旗山校区;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励