大连大学周东生获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉大连大学申请的专利一种基于恶意终端干预训练的联邦忘却方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116739105B 。
龙图腾网通过国家知识产权局官网在2026-02-17发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310371399.3,技术领域涉及:G06N20/00;该发明授权一种基于恶意终端干预训练的联邦忘却方法是由周东生;郭昕桐;王鹏飞;张强;魏小鹏设计研发完成,并于2023-04-10向国家知识产权局提交的专利申请。
本一种基于恶意终端干预训练的联邦忘却方法在说明书摘要公布了:本发明提出了一种基于恶意终端干预训练的联邦忘却方法,属于隐私计算及联邦学习技术领域。本发明通过联邦忘却来消除恶意客户端对全局模型产生的影响,并利用联邦学习生成的最终全局模型参数减去恶意客户端的参数更新,从而利用理论上不可采用的低质量模型继续训练来节省重新训练的时间,使服务器在执行忘却操作时更快速的删除恶意客户端的影响,而不需要征求被删除贡献的客户端的意愿;并提出了设置判断上一轮忘却模型效果和当前轮次忘却模型效果的比较机制对忘却效果进行分析,从而提前结束忘却操作抑制忘却模型因为过度忘却造成的影响;其次采用小量数据集训练最后的忘却模型,恢复训练过程对模型产生的偏差,有效提高了最终忘却模型的准确率。
本发明授权一种基于恶意终端干预训练的联邦忘却方法在权利要求书中公布了:1.一种基于恶意终端干预训练的联邦忘却方法,其特征在于,该方法包括以下步骤: 步骤1:搭建联邦学习框架,构造卷积神经网络模型,设置参与训练客户端和客户端的本地训练数据,其中为恶意客户端;对于恶意客户端,将其定义为本地数据标签含有大量错误的数据拥有者; 步骤2:完善实验参数设置,额外将基准数据集存储在中央服务器后,进行联邦学习训练并将恶意客户端的每轮训练参数更新记录在中央服务器中,最后获取最终全局模型并进行测试得到预测分数; 步骤3:加载步骤2中的最终全局模型与恶意客户端的参数更新后,执行忘却操作,建立忘却模型,设置其参数为最终全局模型参数减去恶意客户端每轮的参数更新,同时通过判断忘却模型预测分数决定是否提前终止忘却操作; 步骤4:加载步骤3中的忘却模型,使用基准数据集对忘却模型进行规定次数的正常训练,进而恢复执行忘却操作时产生的模型性能偏差,最后输出此时的忘却模型作为最终的模型; 步骤5:加载步骤4中的模型,将用来测试模型的数据测试集图像输入到训练完的最终忘却模型中,得到相应的预测分数后,确定模型的性能; 所述步骤2具体包括: 步骤2.1:将含有正确数据,并且数据大小与客户端的本地训练数据相近的数据集称为基准数据集;在中央服务器中提前存储基准数据集以便于后续修复忘却模型性能偏差;并且,由于基准数据集的大小是本地训练数据的,只需要少量的存储空间即可完成忘却模型的性能恢复; 步骤2.2:联邦学习的过程是指各个参与训练客户端从中央服务器下载当前训练轮次的全局模型,接着使用本地数据训练从中央服务器下载的当前训练轮次的全局模型后,生成本地模型;再将本地模型更新参数上传至中央服务器,聚合生成新一轮的全局模型,反复迭代直到全局模型收敛;联邦学习训练过程用公式5表示: 5 ; 式中,为第轮联邦学习生成的全局模型,;为参与训练客户端的总数,表示客户端的本地模型在第轮时生成的参数更新; 步骤2.3:使用测试集进行结果预测,以得到模型预测分数,测试过程用公式6表示: 6 ; 式中,是测试函数,和作为输入变量; 所述步骤3具体包括: 步骤3.1:每轮聚合后的全局模型参数相较于前一轮的全局模型参数相差了本轮各客户端本地模型加权聚合所得到的参数,第轮全局模型的参数更新用公式7表示: 7 ; 步骤3.2:由于恶意客户端也参与了训练,将优质客户端与恶意客户端的本地模型的参数更新分开计算,因此第轮全局模型的参数更新如公式8表示: 8 ; 式中,为恶意客户端的本地模型在第轮时生成的参数更新;步骤3.3:从重新训练的联邦忘却角度出发,忘却模型的第轮参数更新是个优质客户端本地模型的参数聚合,通过公式化简分解为公式9: 9 ; 然后,设恶意客户端在第轮的参数更新为0,也就是没有作出贡献,化简结果用公式10表示: 10 ; 步骤3.4:结合公式10和公式5,得到联邦学习的最终全局模型减去恶意客户端每轮的参数更新为最后的忘却模型,用公式11表示: 11 ; 式中,为联邦忘却的最后一轮训练次数;步骤3.5:选择判断忘却模型效果来确定是否提前终止忘却操作,当第轮忘却操作时,上一轮次忘却模型为最终全局模型,当前轮次忘却模型为上一轮次忘却模型减去恶意客户在第轮的参数更新,如公式12所示,直至上一轮次忘却模型精度大于当前轮次忘却模型精度,说明出现过度忘却现象,提前终止忘却操作,最终的忘却模型为上一轮次忘却模型; 12。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人大连大学,其通讯地址为:116622 辽宁省大连市开发区学府大街10号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励