买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京航空航天大学

摘要：本发明公开了一种纵向联邦学习中参与者模型贡献度的预估方法，属于智能体之间的合作与协调技术领域。该方法基于参与者对互信息的贡献，在纵向联邦学习训练开始之前预估参与者对模型性能的贡献。它通过训练纵向联邦学习形式的分布式神经网络，计算分布在不同参与方之间的特征与标签之间的互信息，以避免引入纵向联邦本身之外的额外隐私风险。同时，在网络中集成标量级注意力机制，将注意力权重视为参与者的贡献，从而在一次网络训练中预测所有参与者的贡献，并评估贡献的冗余，以实现公平的贡献评估。

主权项：1.一种纵向联邦学习中参与者模型贡献度的预估方法，其特征在于：该方法包括在纵向联邦学习过程中训练用于计算不同参与方之间特征与标签之间的互信息的神经网络，并在神经网络中集成标量级的注意力机制，且将注意力权重视为参与者的贡献；所述方法包括如下步骤：1确定各个参与贡献预估的参与者，对其样本进行对齐后，参与者共同构建纵向联邦学习形式的分布式网络，并初始化网络参数；各个参与者构成集合N＝{Pi}i∈N，任务发布方Pn也包含在集合N中，且定义为拥有标签y的特殊参与者，集合N中参与者对应的样本对齐后得到数据集M，数据集M中的第m条数据表示为xm，ym，其中2从数据集M中抽取一个样本批次B，并将该批次B中包含的所有样本ID发布给所有参与者；3参与者{Pi}i∈N将其本地特征作为输入，通过本地网络输出特征的向量表示并传输给任务发布方Pn，的计算公式如下： 其中hi为参与者Pi的本地网络，ωi表示参与者本地网络的参数；4将聚合网络中的标量级注意力模块作为的编码器，得到其编码结果{zm}m∈B，其计算公式如下：zm＝ha{hi}i∈N；θa，其中，ha为标量级注意力模块的网络，θa为该网络的参数；式中，zm的具体计算公式如下： 为了确保注意力机制的有效性，需要确保是注意力分数归一化后的结果，的计算公式如下： 5将{zm}m∈B和{ym}m∈B作为输入，通过互信息估计网络输出函数Rθxm，ym，并计算期望Rθxm，ym的计算公式如下：Rθxm，ym＝hfzm，ym；θa，其中hf为互信息估计网络，θf为该网络的参数；6打乱样本批次B得到将{zm}m∈B和通过互信息估计网络输出函数并计算期望的计算公式如下： 7根据5和6中的期望计算该批次数据B估计的互信息的下界将最大化作为分布式网络的目标，IΘ的计算公式如下： 其中，IΘ为所有参与者特征的集合Ui∈Nxi与标签y的互信息，Θ为分布式网络的参数，Θ＝{ωi}i∈N，θa，θf；8更新聚合网络的参数θa和θf；9Pn计算并将其传输给每个参与者，的计算公式如下： 10每个参与者根据计算本地网络的梯度并更新网络参数，的计算公式如下： 11重复步骤1-10直至网络收敛，网络收敛后的即为Ui∈Nxi与标签y的互信息，同时保存标量级注意力模块的权重作为各个参与者的贡献。

全文数据：

权利要求：

百度查询： 南京航空航天大学 一种纵向联邦学习中参与者模型贡献度的预估方法