买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉重庆邮电大学申请的专利一种基于预剪枝和联合剪枝的语言模型剪枝方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115345295B 。

龙图腾网通过国家知识产权局官网在2026-03-13发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210966295.2，技术领域涉及：G06N3/082；该发明授权一种基于预剪枝和联合剪枝的语言模型剪枝方法是由王海;王樟华;陈磊;彭析竹;唐鹤设计研发完成，并于2022-08-12向国家知识产权局提交的专利申请。

本一种基于预剪枝和联合剪枝的语言模型剪枝方法在说明书摘要公布了：本发明涉及语言模型剪枝领域，尤其涉及一种基于预剪枝和联合剪枝的语言模型剪枝方法，包括通过设备预留存储空间和语言模型实际所占存储空间计算出总剪枝率；采用预剪枝方法获取语言模型结构性剪枝率和语言模型各层的非结构性剪枝率；对语言模型进行结构性剪枝和非结构性剪枝，并且通过重训练方式恢复模型精度；本发发明通过预剪枝这种剪枝率分配方式可以获取合理的语言模型结构性剪枝率和语言模型各层的非结构性剪枝率，并且联合结构性剪枝和非结构性剪枝可以对语言模型进行彻底的剪枝。

本发明授权一种基于预剪枝和联合剪枝的语言模型剪枝方法在权利要求书中公布了：1.一种基于预剪枝和联合剪枝的语言模型剪枝方法，其特征在于，具体包括以下步骤： 通过设备预留存储空间和语言模型实际所占存储空间计算出总剪枝率，即获取语言模型结构性剪枝灵敏度以及语言模型非结构性剪枝的灵敏度，通过获取的灵敏度计算语言模型结构性剪枝率和语言模型的非结构性剪枝率，包括： 其中，SPR为语言模型结构性剪枝率，UPR为语言模型非结构性剪枝率，SST为语言模型结构性剪枝灵敏度，UST为语言模型非结构性剪枝灵敏度，TPR为语言模型总剪枝率； 通过语言模型的非结构性剪枝率计算语言模型各层的剪枝率为： 其中，PRi为语言模型第i层的非结构性剪枝率，TWi为语言模型中第i层权重参数个数，PROPi为语言模型中第i层非结构性剪枝比例表示为： 其中，PROPi为语言模型中第i层的非结构性剪枝比例，STi为语言模型中第i层的非结构性剪枝灵敏度； 语言模型结构性剪枝灵敏度的获取过程包括： 设置初始剪枝率对整个语言模型进行结构性剪枝，剪枝完成之后测试语言模型并获取对应剪枝下的困惑度； 提高剪枝率，继续对语言模型进行结构性剪枝，获取相应剪枝下的困惑度，直至剪枝率达到阈值； 将所有获得的困惑度求平均得到语言模型结构性剪枝灵敏度； 语言模型各层非结构性剪枝灵敏度的获取过程包括： 设置初始层剪枝率对当前层进行非结构性剪枝，剪枝完成之后测试语言模型并获取对应剪枝下的困惑度； 提高剪枝率，继续对语言模型进行剪枝，获取相应剪枝下的困惑度，直至剪枝率达到阈值； 将所有获得的困惑度求平均得到当前层的非结构性剪枝灵敏度； 采用预剪枝方法获取语言模型结构性剪枝率和语言模型各层的非结构性剪枝率； 对语言模型进行结构性剪枝和非结构性剪枝，并且通过重训练方式恢复模型精度，包括以下步骤： 设置剪枝总次数； 对语言模型进行结构性剪枝，单次语言模型结构性剪枝率为语言模型结构性剪枝率除以总剪枝次数； 每次结构性剪枝之后对语言模型进行重训练，直至语言模型恢复到设定困惑度； 当完成结构性剪枝后，进行非结构性剪枝，非结构性剪枝过程中，根据计算语言模型各层非结构性剪枝比例得到语言模型各层非结构性剪枝率； 单次语言模型各层非结构性剪枝率为语言模型各层非结构性剪枝率除以总的剪枝次数； 每次完成剪枝后，对语言模型进行重训练直至语言模型恢复到设置的困惑度。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人重庆邮电大学，其通讯地址为：400065 重庆市南岸区南山街道崇文路2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。