山东浪潮科学研究院有限公司孙善宝获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉山东浪潮科学研究院有限公司申请的专利一种联邦建模方法及系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116894484B 。
龙图腾网通过国家知识产权局官网在2026-01-13发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310781003.2,技术领域涉及:G06N3/098;该发明授权一种联邦建模方法及系统是由孙善宝;王启正;罗清彩;贾荫鹏;沈国栋设计研发完成,并于2023-06-29向国家知识产权局提交的专利申请。
本一种联邦建模方法及系统在说明书摘要公布了:本发明涉及联邦学习和隐私计算技术领域,具体提供了一种联邦建模方法及系统,基于样本共享和参数隔离,首先进行联邦建模任务准备,再进行联邦建模任务训练,最后进行联邦建模模型优化。与现有技术相比,本发明加速了训练过程,提高了模型的性能和泛化能力。
本发明授权一种联邦建模方法及系统在权利要求书中公布了:1.一种联邦建模方法,其特征在于,基于样本共享和参数隔离,首先进行联邦建模任务准备,再进行联邦建模任务训练,最后进行联邦建模模型优化,其中,联邦建模任务准备包括如下步骤: S101、根据联邦建模预测任务的实际需求,创建联邦建模任务; 根据联邦建模预测任务的实际需求,由联邦建模发起方确定训练数据集的数据特征结构,并设定初始的网络模型架构、训练策略以及联邦建模聚合方式,创建联邦建模任务; 参与联邦建模节点确认联邦建模任务要求,协商确定其本地训练数据和本地资源是否满足任务需求,协商确认加入本次任务; S102、确认选定联邦建模参与方,设计共享训练数据集; 经过联邦建模任务初步协商,联邦建模任务发起方根据初步协商结果,确认选定联邦建模参与方,设计共享训练数据集; 联邦建模任务发起方选择encoder-decoder结构的公开预训练模型,并根据实际业务要求,利用真实原始数据的重构误差来进行预训练模型的参数微调,模型网络的Encoder部分作为预训练模型PretrainEncoder; 联邦建模任务发起方采用原始数据进行数据脱敏处理,并进行随机挑选,形成代表实际业务数据的脱敏数据集; 联邦建模任务发起方采用生成网络,基于原始数据生成符合原始数据分布的虚拟数据集; S103、设定共享特征数据集的样本数量,随机采样样本,并经过预训练模型PretrainEncoder,生成共享特征向量数据集; S104、联邦建模任务发起方将共享特征向量数据集以及预训练模型PretrainEncoder发送给所述的联邦聚合节点,形成本地数据特征向量数据集; 联邦建模任务发起方将共享特征向量数据集以及预训练模型PretrainEncoder发送给所述的联邦聚合节点; 联邦聚合节点利用任务管理模块完成联邦建模任务的协商确认; 联邦聚合节点与各个参与节点通过隐私保护模块建立可信传输信道,并将共享特征向量数据集以及预训练模型PretrainEncoder分发给参与联邦建模的节点; 联邦建模参与节点使用样本选择模块LSSM,利用PretrainEncoder提取本地训练数据的特征,形成本地数据特征向量数据集; S105、计算选出的本地数据特征向量数据集与共享特征向量数据集的推土机距离,不断替换调整选出的本地数据特征向量数据集样本,满足推土机距离要求; 设定推土机距离的阈值,在本地数据特征向量数据集中随机采样,选择与共享特征向量数据集数量相同的样本,计算选出的本地数据特征向量数据集与共享特征向量数据集的推土机距离; 采用贪心算法,不断替换调整选出的本地数据特征向量数据集样本,满足推土机距离要求; 重复执行,筛选出多组符合要求的本地数据特征向量数据集,对应的节点本地数据作为进行联邦建模训练的本地数据集; 进行联邦建模任务训练时,包括如下步骤: S201、基于筛选的本地数据集进行第一阶段联邦建模训练; 具有如下步骤: 1聚合节点将联邦建模神经网络模型初始参数分发给联邦建模参与节点; 2联邦建模节点使用模型训练与更新模块,基于筛选出来的本地数据集,完成联邦模型训练的本地计算,包括前向计算、标签误差计算以及梯度计算; 3联邦建模节点将计算的模型梯度通过可信网络信道汇聚到所述的联邦聚合节点; 4联邦聚合节点使用参数聚合模块完成神经网络模型的梯度聚合,并更新神经网络模型参数,分发给联邦建模节点; 5根据安全要求,采用同态加密方式,梯度汇聚和累加采用密文计算,并最终通过秘密分享方式来生成同态加密密钥解开密钥执行聚合结果的解密; 6联邦聚合节点接收到更新后的神经网络模型,重复步骤1至步骤4,经过N轮直到聚合模型参数收敛,记录下迭代训练最后两轮N-1,N的模型参数梯度更新变化情况; S202、基于全量的本地数据集,进行第二阶段联邦建模训练。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人山东浪潮科学研究院有限公司,其通讯地址为:250100 山东省济南市高新浪潮路1036号S02号楼;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励