复旦大学邱锡鹏获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉复旦大学申请的专利一种基于集成学习的神经网络动态早退方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115222063B 。
龙图腾网通过国家知识产权局官网在2026-03-13发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202110430015.1,技术领域涉及:G06N20/20;该发明授权一种基于集成学习的神经网络动态早退方法是由邱锡鹏;孙天祥设计研发完成,并于2021-04-21向国家知识产权局提交的专利申请。
本一种基于集成学习的神经网络动态早退方法在说明书摘要公布了:本发明提供一种基于集成学习的神经网络动态早退方法,包括:步骤1,采用相关性损失和多样性损失之和训练多层神经网络及其内部分类器,得到训练好的神经网络和训练好的内部分类器;步骤2,将待处理的数据输入训练好的神经网络,在训练好的神经网络的第一层,计算第一个训练好的内部分类器对数据分类的中间预测结果,得到各个类别的投票数;步骤3,将中间预测结果中的最大票数与预先设定的阈值进行比较,当最大票数大于阈值时,则将最大票数的类别作为最终预测结果,同时从训练好的神经网络退出,反之,则进入训练好的下一层神经网络,通过下一个内部分类器进行投票,直至新的中间预测结果的最大值大于阈值,则退出。
本发明授权一种基于集成学习的神经网络动态早退方法在权利要求书中公布了:1.一种基于集成学习的神经网络动态早退方法,用于提升神经网络模型的准确率和推理效率,所述神经网络模型为用于进行文本分类的预训练语言模型,其特征在于,包括如下步骤: 步骤1,采用相关性损失和多样性损失之和训练多层神经网络及其插入于每两层所述神经网络之间的内部分类器,得到训练好的神经网络和训练好的内部分类器,其中,所述内部分类器为多层感知机或线性分类器; 步骤2,将待处理的数据输入训练好的所述神经网络,在训练好的所述神经网络的第一层,计算第一个训练好的所述内部分类器对所述数据分类的中间预测结果,得到各个类别的投票数; 步骤3,将所述中间预测结果中的最大票数与预先设定的阈值进行比较,当所述最大票数大于所述阈值时,则将所述最大票数所在的类别作为最终预测结果,同时从训练好的所述神经网络退出,当所述最大票数小于等于所述阈值时,则进入训练好的所述神经网络的下一层,并通过下一个训练好的所述内部分类器进行投票计算,直至新的中间预测结果的最大值大于阈值,则退出训练好的神经网络, 其中,所述步骤1中,相关性损失和多样性损失之和的公式为: 1 式1中,表示相关性损失函数,表示多样性损失函数,xi为第i个内部分类器的预测分布,y为正确标签,wi为第i个内部分类器的权重,共有L个内部分类器,λ为一调节两项损失函数的超参数,表示交叉熵损失函数,其为,xj为与当前内部分类器的预测分布xi最接近的内部分类器, 其中,所述步骤2中,投票数的计算公式如下: 2 式2中,c表示类别索引,yc表示第c个类别标签,Predxj表示第j个内部分类器的预测类别,lk表示缩放标量,k表示预先设定的超参数。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人复旦大学,其通讯地址为:200433 上海市杨浦区邯郸路220号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励