买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉湖南工商大学申请的专利轻量化推理加速的大模型层修剪方法、装置、设备及介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN121328643B 。

龙图腾网通过国家知识产权局官网在2026-03-10发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511882104.4，技术领域涉及：G06N3/082；该发明授权轻量化推理加速的大模型层修剪方法、装置、设备及介质是由梁伟;黄作柳;郭征凯;张博文;奎晓燕;李闯;龙巍;郑浩设计研发完成，并于2025-12-15向国家知识产权局提交的专利申请。

本轻量化推理加速的大模型层修剪方法、装置、设备及介质在说明书摘要公布了：本发明属于计算机人工智能领域，本发明提供了一种轻量化推理加速的大模型层修剪方法、装置、设备及介质，其中方法包括：初始化原始模型的模型参数和剪枝状态；获取原始模型的Transformer层的输出张量，根据输出张量对Transformer层进行逐层的余弦相似度计算，得到相邻Transformer层对间的相似度矩阵；根据相似度矩阵，采用聚类算法进行动态层次聚类分组处理，得到Transformer层的类别聚类结果；根据目标函数及类别聚类结果，对原始模型采用迭代渐进式层修剪策略进行处理，得到原始模型的层修剪结果。本发明的有益效果为：提高了大模型的推理速度，降低模型推理时的系统资源消耗。

本发明授权轻量化推理加速的大模型层修剪方法、装置、设备及介质在权利要求书中公布了：1.一种轻量化推理加速的大模型层修剪方法，其特征在于，包括： 初始化原始模型的模型参数和剪枝状态，所述原始模型为用于问答的大语言模型，所述大语言模型用于将输入的文本信号转换为语义特征表示； 获取原始模型的Transformer层的输出张量，根据输出张量对Transformer层进行逐层的余弦相似度计算，得到任意相邻Transformer层对的层间相似度矩阵，其中层间相似度矩阵用于表征大语言模型对输入文本信号进行推理时的语义相似度；所述输出张量用于表征Transformer层对输入文本信号处理后所得到的语义特征分布特征张量；根据相似度矩阵，采用聚类算法执行自底向上的动态层次聚类分组处理，得到Transformer层的类别聚类结果； 根据目标函数及类别聚类结果，对原始模型采用迭代渐进式层修剪策略进行处理，得到原始模型的层修剪结果，其中目标函数用于在满足双阈值判定的前提下，以最小化目标函数为导向的迭代渐进式层修剪，以表征原始模型的模型性能不低于预设值且剪枝后保留的Transformer层数量最小；所述层修剪用于表征移除Transformer层推理时的计算指令，并释放占用显存空间；其中双阈值包括准确率差异阈值和绝对准确率下限； 根据原始模型的层修剪结果，得到修改后的原始模型，通过修改后的原始模型对目标问题语句进行推理，得到问题推理结果； 所述初始化原始模型的模型参数和剪枝状态，包括： 对原始模型的模型权重进行冻结，并对原始模型通过问答测试集进行推理，得到初始准确率； 以所述初始准确率作为基线值确定初始化的剪枝状态，其中初始化的剪枝状态包括准确率差异阈值、绝对准确率下限及层冻结判断阈值，其中准确率差异阈值表示因剪枝删除的Transformer层所允许的模型准确率最大下降幅度；绝对准确率下限因剪枝删除的Transformer层所允许的模型准确率的绝对最低值；层冻结判断阈值表示因剪枝未删除的Transformer层的次数阈值，其中未删除的Transformer层的次数通过设置于每个Transformer层的计数器字典确定； 所述方法还包括： 对Transformer层的类别聚类结果采用类别内层排序和类别间排序进行依次处理，得到类别排序结果，其中类别内层排序为： 其中，表示已聚类的类别中所包括的Transformer层按照其在原始模型中的深度进行降序排列，且； 将类别内层排序的排序执行类别间排序，得到类别排序结果： 其中，表示按照已聚类的类别的最深层深度从大到小进行降序排列，且，为聚类得到的类别总数； 获取类别排序结果，其中，获取类别排序结果中只包括一个Transformer层的类别，将只包括一个Transformer层的类别添加至冻结层集合，其中冻结层集合不进入候选层，即不执行删除操作； 初始化Transformer层的计数器字典，通过计数器字典对所有Transformer层连续未成功剪枝的轮数进行记录，其中； 将原始模型的副本按照类别排序结果对每个类别的Transformer层进行候选层评估与剪枝决策： 将深度最深的层作为一次剪枝的候选层，将候选层添加删除标识，保留候选层的前一保留层的输出作为下一保留层的输入；将原始模型的副本的准确率与初始准确率进行对比，得到模型准确度下降率，若模型准确度下降超过准确率差异阈值或者模型准确率低于绝对准确率下限，则不删除候选层；否则，删除候选层； 循环执行剪枝处理，每次循环时对类别列表，冻结所有类别列表长度1的类别，并将类别列表长度1中的Transformer层加入冻结类别集合，若循环时没有删除任何Transformer层或者所有类别的Transformer层均被冻结则终止主迭代剪枝循环。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人湖南工商大学，其通讯地址为：410205 湖南省长沙市岳麓区岳麓大道569号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。