买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉云南大学申请的专利一种视觉Transformer模型的压缩方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120124699B 。

龙图腾网通过国家知识产权局官网在2025-11-25发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510182409.8，技术领域涉及：G06N3/082；该发明授权一种视觉Transformer模型的压缩方法是由周维;陈俊权;阎国军;张锟;隗锋设计研发完成，并于2025-02-19向国家知识产权局提交的专利申请。

本一种视觉Transformer模型的压缩方法在说明书摘要公布了：本发明公开了一种视觉Transformer模型的压缩方法，根据实际需要在视觉Transformer模型TransformerEncoder的TransformerBlock中确定待压缩block，将输入图像输入视觉Transformer模型的嵌入层生成图像嵌入后输入TransformerEncoder，当TransformerBlock为待压缩block时，则计算补丁令牌的重要分数，根据重要分数对多头自注意力模块和叠加归一化模块处理后的补丁令牌进行采样和融合，得到补丁令牌压缩后的图像，然后输出至后续模块。本发明通过对TransformerEncoder的补丁令牌进行压缩，降低视觉Transformer模型计算复杂度、提升推理速度，同时保持模型的性能和通用性。

本发明授权一种视觉Transformer模型的压缩方法在权利要求书中公布了：1.一种视觉Transformer模型压缩方法，其特征在于，包括以下步骤： S1：记视觉Transformer模型的TransformerEncoder中TransformerBlock数量为M，根据实际需要从M个TransformerBlock中筛选出K个作为待压缩Block，记第k个待压缩block对应的原始序号为mk，k＝1,2,…,K； S2：将输入图像输入视觉Transformer模型的嵌入层，嵌入层生成图像嵌入x并输入TransformerEncoder，图像嵌入的生成方法为： 将输入图像均匀划分为N个补丁，对每个补丁进行编码得到嵌入向量n＝1,2,…,N，D表示嵌入向量的维度，同时对补丁的位置进行编码得到位置向量en，叠加得到补丁表示向量zn＝fn+en，然后将每个补丁表示向量zn作为补丁令牌构建得到图像嵌入其中zcls表示分类令牌； S3：TransformerEncoder对图像嵌入进行特征提取，然后输出至后续模块完成分类，特征提取过程中，对于第m层TransformerBlock，当m≠mk，则不进行模型压缩，当m＝mk，则采用如下方法进行模型压缩： S3.1：记当前TransformerBlock接收到的图像嵌入为其中第0个令牌为分类令牌第1至第Nm个令牌为补丁令牌j＝1,2,…,Nm，Nm表示图像嵌入Xm中补丁令牌的数量；记当前TransformerBlock中多头自注意力模块输入的值矩阵其中dv表示值的维度，计算得到的注意力矩阵为采用如下公式计算得到每个补丁令牌的重要分数： 其中，A0,n表示分类令牌与补丁令牌之间的注意力分数，表示值矩阵Vm中补丁令牌对应的值向量，||||表示求取范数； S3.2：记当前TransformerBlock中由多头自注意力模块和叠加归一化模块处理后得到的图像嵌入为根据实际情况设置压缩比例R，计算得到补丁令牌采样数量Hm＝R×Nm，根据补丁令牌的重要分数从Nm个补丁令牌中采样得到Hm个补丁令牌构成补丁令牌队列P，重要分数越大，被选中概率越高； S3.3：根据实际情况设置融合比例T，计算得到融合令牌数量Gm＝T×Hm，然后将补丁令牌队列P划分为两个队列C1、C2，其中队列C1中包含Gm个补丁令牌，队列C2中包含Hm-Gm个补丁令牌；遍历队列C1中的每个补丁令牌，从队列C2中筛选与其相似度最大的补丁令牌并将该补丁令牌从队列C2中删除，然后采用如下公式进行融合得到融合后的补丁令牌： 其中，表示队列C1中第g个补丁令牌，g＝1,2,…,Gm，jg表示补丁令牌的原始序号，表示融合后的补丁令牌，wg表示权重，表示队列C2中与补丁令牌相似度最大的补丁令牌，表示补丁令牌的原始序号； 将分类令牌、融合得到的Gm个补丁令牌和集合C2中剩余的补丁令牌构成图像嵌入并输出至后续模块。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人云南大学，其通讯地址为：650000 云南省昆明市翠湖北路2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。