买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:上海工程技术大学
摘要:本发明公开了一种基于自监督学习的纵向联邦学习方法,属于机器学习技术领域。该方法包括:对于任意两个参与方,使用重叠数据样本互为正样本对进行重叠网络的自监督训练;对两个参与方的本地数据进行压缩处理,得到降维后的数据矩阵,使用压缩数据与重叠编码器对本地在线网络和目标网络进行自监督训练;将每一参与方训练好的本地在线网络的尾部编码器以及预测器参数上传至服务器求平均,然后下发各参与方更新进行下一轮的训练。本发明采用对本地数据进行压缩处理以及传递特征表示代替传输加密参数,降低了对设备计算能力的要求;同时该方法不仅充分利用重叠样本,而且还能够使用非重叠样本进行训练,显著提高样本的使用率。
主权项:1.一种基于自监督学习的纵向联邦学习方法,应用于纵向联邦学习的服务器和各参与方,其特征在于:所述各参与方均包含重叠网络、本地在线网络和目标网络;所述重叠网络包括重叠编码器和重叠预测器;所述本地在线网络包括第一编码器和预测器;所述目标网络包括第二编码器;所述第一编码器和第二编码器均被划分为头部编码器和尾部编码器;所述纵向联邦学习方法包括了两部分自监督训练,具体包括如下步骤:1对于任意两个参与方,使用重叠数据样本互为正样本对进行所述重叠网络的自监督训练;2对两个所述参与方的本地数据进行压缩处理,得到降维后的数据矩阵;3每个所述参与方使用其本地的所述降维后的数据矩阵中的数据,增强生成两种不同的数据视图,并分别输入其本地在线网络和目标网络进行自监督训练,得到训练好的本地在线网络;4将每一个所述参与方训练好的所述本地在线网络的尾部编码器以及预测器参数上传至服务器,所述服务器分别对收集到的尾部编码器和预测器参数求平均,然后下发给各参与方更新进行下一轮的训练;5重复步骤3~4,直至满足停止条件,完成训练。
全文数据:
权利要求:
百度查询: 上海工程技术大学 一种基于自监督学习的纵向联邦学习方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。