买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉杭州市滨江区浙工大人工智能创新研究院申请的专利一种基于层剪枝和参数共享的大模型压缩方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN121145968B 。

龙图腾网通过国家知识产权局官网在2026-03-17发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511695120.2，技术领域涉及：G06N3/082；该发明授权一种基于层剪枝和参数共享的大模型压缩方法是由俞山青;谢文斌;陆耀;聂佳琦;赵尚上;钟高伟设计研发完成，并于2025-11-19向国家知识产权局提交的专利申请。

本一种基于层剪枝和参数共享的大模型压缩方法在说明书摘要公布了：本发明公开了一种基于层剪枝和参数共享的大模型压缩方法，属于人工智能与自然语言处理技术领域，解决大语言模型部署时内存占用高、计算成本大以及传统剪枝方法未建模层间动态关联性、参数共享技术难以适配剪枝后结构的问题。技术方案包括：通过前向传播计算层间相对变换强度，结合权重稀疏性得到动态重要性指标以进行层剪枝；将保留层基于余弦相似度分组，父块保留权重，子块共享权重并引入可学习缩放系数；对压缩后模型进行轻量微调，仅解冻父块权重、缩放系数、归一化层和输出层参数。本发明能显著缩减模型体积，提升部署效率，同时保持模型性能。

本发明授权一种基于层剪枝和参数共享的大模型压缩方法在权利要求书中公布了：1.一种基于层剪枝和参数共享的大模型压缩方法，其特征在于，包括以下步骤： S1、加载预训练大型语言模型和校准数据集，进行前向传播，捕获每层的输入隐藏状态和输出隐藏状态，计算每层的相对变换强度，其中所述校准数据集为风电机组故障数据集； 所述计算相对变换强度的过程包括： 计算每层输入隐藏状态和输出隐藏状态的L2范数差值； 将所述L2范数差值除以输入隐藏状态的L2范数，得到相对变换强度； S2、基于所述相对变换强度和每层前馈网络模块的权重矩阵的稀疏性指标，计算动态重要性指标，根据所述动态重要性指标对模型层进行排序并移除低重要性层，重新连接剩余层； 计算动态重要性指标的过程包括： 提取每层前馈网络模块的权重矩阵； 计算所述权重矩阵的L2范数和L1范数，结合稀疏性系数得到稀疏性指标； 将所述相对变换强度与所述稀疏性指标相乘，并在校准数据集上取平均值，得到动态重要性指标； S3、将剪枝后的保留层划分为多个组，每组包含一个父块和多个子块，所述父块保留原始权重，所述子块共享所述父块的权重并引入可学习缩放系数，通过所述缩放系数适配权重； S4、对剪枝和参数共享后的模型进行轻量微调，冻结所有参数，仅解冻父块权重矩阵、子块缩放系数向量、归一化层和输出层参数，使用下游任务数据集进行训练。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人杭州市滨江区浙工大人工智能创新研究院，其通讯地址为：310056 浙江省杭州市滨江区长河街道湖西路575号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。