龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：南京邮电大学
摘要：本发明公开了一种基于BERT模型优化预训练模型聚合的联邦学习方法及系统，用于解决在分布式环境下进行自然语言处理任务的问题。本发明提出了基于BERT和CNN架构的联邦学习模型，该模型首先通过预训练BERT模型来捕捉语义信息，然后利用CNN架构进行特征提取和分类。在联邦学习过程中，选择一部分客户端进行模型训练，并通过参数聚合和更新来实现模型的协同训练。最后，通过模型优化和全局模型聚合来提高模型性能，并选择表现最佳的模型作为最终输出。实验结果表明，该联邦学习模型在自然语言处理任务中具有较好的性能和可扩展性。
主权项：1.一种基于BERT模型优化预训练模型聚合的联邦学习方法，其特征在于，包括以下步骤：步骤一、初始化预训练模型，具体如下：1.1、使用无标签数据训练一个BERT模型，包括掩码语言模型MLM和下一句预测NSP任务；1.2、生成CNN架构，用于与BERT模型进行连接和训练；步骤二、联邦学习模型训练，具体如下：2.1、从一组参与方中选择一部分客户端，每个客户端具有自己的数据集；2.2、将初始化的BERT模型和CNN架构分发给选择的客户端；2.3、在每个客户端上进行模型训练，将数据流的五元组按照上行流和下行流进行分类；同时，将数据以单词或子词的形式分割开，并编上序号；选择适当的损失函数和优化算法进行训练；2.4、中央服务器收集各个客户端的模型参数，并使用聚合算法对参数进行聚合；2.5、将聚合后的参数发送回每个客户端，并更新各自的模型；2.6、设置合适的学习率、批大小、训练轮数超参数，重复执行步骤2.3至2.5，直到模型收敛或达到预定的训练轮数；步骤三、模型优化：根据联邦学习训练结果，调整模型的参数和超参数来优化模型性能，使用验证集选择最佳的模型参数；步骤四、重复执行步骤二和步骤三，进一步提高模型性能；步骤五、模型聚合和选择，具体如下：5.1、根据模型的性能，为不同的模型分配不同的权重，根据准确率指标进行权重分配；5.2、根据权重，对模型的预测结果进行加权聚合，得到最终的模型输出；根据聚合后模型的性能，选择表现最佳的模型作为最终的输出模型。
全文数据：
权利要求：
百度查询： 南京邮电大学 基于BERT模型优化预训练模型聚合的联邦学习方法、系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号