买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜西北工业大学申请的专利一种基于视觉自注意力模型的小样本微调方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117036901B 。

龙图腾网通过国家知识产权局官网在2025-07-04发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310867841.1，技术领域涉及：G06V10/82；该发明授权一种基于视觉自注意力模型的小样本微调方法是由王鹏;付铭禹;李煜堃;索伟;张艳宁设计研发完成，并于2023-07-16向国家知识产权局提交的专利申请。

本一种基于视觉自注意力模型的小样本微调方法在说明书摘要公布了：本发明公开了一种基于视觉自注意力模型的小样本微调方法，采用在大规模数据集上进行预训练和在小样本任务上进行微调的流程，视觉自注意力模型被用作主干网络，同时构建一个可学习的转换模块normadapter，由两个向量组成，用于校正原始视觉自注意力模型归一化层的增益和偏置，normadapter位于视觉自注意力模型ViT的所有归一化层之后，通过逐元素的乘法和加法实现；在预训练期间，使用大规模数据集上以全监督或自监督方式训练的主干网络；在微调过程中，采用原型网络ProtoNet分类头。本发明计算简便，通过逐元素相乘和相加即可实现，因此占用的存储和计算资源比较少，有利于预训练模型投入实际应用场景。

本发明授权一种基于视觉自注意力模型的小样本微调方法在权利要求书中公布了：1.一种基于视觉自注意力模型的小样本微调方法，其特征在于，包括如下步骤： 步骤1：构建主干网络； 采用改进的视觉自注意力模型ViT作为主干网络； 原始视觉自注意力模型由一个补丁嵌入层和N个transformer层组成；经过补丁嵌入层，输入图像被编码成一定数量的token向量，再与位置编码相加后，输入的token向量连同CLStoken被送入N个transformer层中；最终，经过N个transformer层和一个归一化层LayerNorm后，CLStoken用于分类或其他目的；每个transformer层包含两个归一化层LayerNorm，一个MLP块和一个多头自注意力块MHSA； 构建一个可学习的转换模块，由两个向量组成，用于校正原始视觉自注意力模型归一化层LayerNorm的增益gain和偏置bias，将可学习的转换模块称为normadapter；所述normadapter位于视觉自注意力模型ViT的所有归一化层之后，通过逐元素的乘法和加法实现；如公式1所示，Scale和Shift分别是normadapter的两个可学习向量，y是归一化层的输出，⊙代表逐元素乘法： h＝Scale⊙y+Shift1 normadapter的参数Scale和Shift的结构与归一化层的参数增益gain和偏置bias相同，分别被初始化为全1和全0的向量；在微调时，只有参数Scale和Shift被更新，其他参数在预训练后被冻结，不进行优化； 步骤2：在预训练期间，使用大规模数据集上以全监督或自监督方式训练的主干网络； 步骤3：在微调过程中，采用原型网络ProtoNet分类头；该分类头根据查询图像和原型在嵌入空间中的距离，产生一个概率分布，如公式2所示： 其中，fφ是主干网络，将输入编码到特征空间；ck为类别k的原型，是属于类别k的特征的平均值；d是度量函数；具体来说，各个类别的原型是由支持集中每类样本求均值计算出来的，并将进行数据增强后的支持集作为伪查询集，然后由原型和伪查询集之间的余弦距离计算损失，更新参数； 损失函数选择交叉熵损失。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人西北工业大学，其通讯地址为：710072 陕西省西安市友谊西路127号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。