买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉华南理工大学申请的专利数据受限场景下的Transformer自适应压缩方法与系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120409567B 。

龙图腾网通过国家知识产权局官网在2025-09-19发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510906422.3，技术领域涉及：G06N3/0495；该发明授权数据受限场景下的Transformer自适应压缩方法与系统是由朱占一;田翔;郭锴凌;徐向民设计研发完成，并于2025-07-02向国家知识产权局提交的专利申请。

本数据受限场景下的Transformer自适应压缩方法与系统在说明书摘要公布了：本发明公开了数据受限场景下的Transformer自适应压缩方法与系统。所述方法包含以下步骤：获取包括多个图像样本的小样本训练集；获取预训练Transformer模型；通过基于交替方向乘子法与贝叶斯优化的搜索方法对剪枝率进行自适应剪枝率分配，得到最优剪枝率组合；在小样本训练集下使用所述最优剪枝率组合对预训练Transformer模型进行压缩，使用基于特征对齐的知识蒸馏框架对压缩后的模型进行多轮次微调，得到最终的Transformer模型。本发明可以灵活应用于数据受限条件下的图像分类任务中，对于视觉Transformer在相关任务的实际应用具有重要意义。

本发明授权数据受限场景下的Transformer自适应压缩方法与系统在权利要求书中公布了：1.数据受限场景下的Transformer自适应压缩方法，其特征在于，包括以下步骤： 获取包括多个图像样本的小样本训练集； 获取预训练Transformer模型； 通过基于交替方向乘子法与贝叶斯优化的搜索方法进行自适应剪枝率分配，得到最优剪枝率组合，具体包括： 使用交替方向乘子法将剪枝率分配约束条件转化为可微优化问题，并引入辅助变量以便进行求解； 将可微优化问题拆分为最优性子问题和可行性子问题，对剪枝率的更新即为对最优性子问题进行求解，对辅助变量的更新即为对可行性子问题的求解； 对最优性子问题和可行性子问题进行迭代求解，迭代包括外循环迭代和内循环迭代，在内循环迭代中通过贝叶斯优化迭代解决最优性子问题； 通过迭代求解，得到最优剪枝率组合； 在小样本训练集下通过联合剪枝策略并使用所述最优剪枝率组合对预训练Transformer模型进行压缩，使用基于特征对齐的知识蒸馏框架对压缩后的模型进行多轮次微调，得到最终的Transformer模型； 预训练Transformer模型中的一个Block包括一个Attention层和一个FFN层，且每个层前面均包含一个对应的LayerNorm层，所述联合剪枝策略融合了块级剪枝和通道修剪，块级剪枝是对预训练Transformer模型中选中的Block的Attention层进行整块修剪，去除Attention层与相对应的LayerNorm层，通道修剪是对预训练Transformer模型中选中的Block的FFN层进行修剪；采用反向传播策略对预训练Transformer模型进行更新，所述反向传播策略为，不对预训练Transformer模型中所有的Block进行反向传播，而是仅对修剪后的Block以及相邻的一个Block进行更新。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人华南理工大学，其通讯地址为：510640 广东省广州市天河区五山路381号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。