龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：重庆大学
摘要：本发明公开了基于轻量化空间缩减注意力的视觉Transformer分类方法，该方法将多头注意力划分为两组进行不同程度的下采样以关注不同大小的对象，并提出了一种软分割下采样模块代替空间缩减注意力中的卷积层，接着使用深度可分离卷积代替软分割下采样模块中的普通卷积，进一步减少参数量，最后对具有不同下采样率分支进行通道重要性评估。使用轻量化空间缩减注意力的LightPVT降低约30％的参数量，且模型的性能得到了提升。
主权项：1.基于轻量化空间缩减注意力的视觉Transformer分类方法，其特征在于，包括如下步骤：S1:获取若干公开有标签的图像作为训练集，其中一张图像作为一个训练样本；S2:构建并训练改进的Transformer分类模型，改进的Transformer分类模型是对现有Transformer分类模型做了注意力机制的改进；将训练样本输入改进的Transformer分类模型，分别经过图像块嵌入层、改进的空间缩减注意力模块、前馈神经网络，不断更新特征图，最后通过线性层输出最终预测的分类结果，计算训练样本的真实标签和预测标签之间的损失，并采用反向传播计算模型每一层参数的梯度，根据计算的梯度调整模型参数，以最小化损失函数，不断迭代上述步骤，直至损失函数最小化，此时得到训练好的Transformer分类模型；S3:将一张待分类图像输入训练好的Transformer分类模型，训练好的Transformer分类模型计算待分类图像属于各类的概率值，将最大概率值对应的类作为待分类图像的预测类输出。
全文数据：
权利要求：
百度查询： 重庆大学 基于轻量化空间缩减注意力的视觉Transformer分类方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号