买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京工业大学申请的专利基于对偶注意力视觉Transformer网络的类增量图像分类方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117058436B 。

龙图腾网通过国家知识产权局官网在2026-05-01发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310394834.4，技术领域涉及：G06F30/34；该发明授权基于对偶注意力视觉Transformer网络的类增量图像分类方法是由王少帆;王卫星;孙艳丰;尹宝才设计研发完成，并于2023-04-13向国家知识产权局提交的专利申请。

本基于对偶注意力视觉Transformer网络的类增量图像分类方法在说明书摘要公布了：基于对偶注意力视觉Transformer网络的类增量图像分类方法适用于计算机视觉领域。该方法将注意力信息作为知识进行转移，并对类增量学习的语义知识进行增强。核心是对偶注意力机制，即在每个Transformer层中使用对偶key学习任务间注意力和任务内注意力。任务间注意可以隐式地吸收之前任务中的知识，有效地缓解灾难性遗忘，而任务内注意则专注于当前任务的知识，可以提高模型的可塑性。本方法通过融合这两种注意力获取的知识，能在稳定性和可塑性上取得良好的平衡。此外，本发明还提出了近邻不变损失和自适应注意力固化损失。本方法解决稳定性‑可塑性困境和样本不平衡所造成的模型偏好问题，以提高类增量图像分类的准确率。

本发明授权基于对偶注意力视觉Transformer网络的类增量图像分类方法在权利要求书中公布了：1.基于对偶注意力视觉Transformer网络的类增量图像分类方法，其特征在于，具体步骤如下： 步骤一：建立对偶注意力视觉Transformer网络模型 1.训练数据集输入及类增量划分 为了模拟网络上新类图像的不断增加的真实场景，RGB图像数据集将按类别被随机划分不同子数据集以代表不同时刻增加的新类图像数据； 采用了两个数据集进行实验，CIFAR-100和ImageNet-Subset；对CIFAR-100数据集，增量设置分别为2、5和10步；对ImageNet-Subset数据集，增量设置分别为5和10步； 2.设计对偶注意力模块 给定输入图像其首先经过ResNet18卷积层得到预处理特征对X进行展平使得其中n＝H1×W1代表Transformer中patch的数量，再将X输入对偶注意力模块，通过三个可学习的参数和可生成query：内部key:和value：还采用一个可学习的参数和作为外部key外部注意力偏置；然后通过以下公式来计算内部注意力和外部注意力： 其中H代表多头注意力的个数，h是多头注意力索引，d代表特征维度；代表内部注意力，代表外部注意力，和分别代表多头的query，内部key，外部key和外部注意力偏置；然后计算出内部和外部多头激活特征，即内部多头激活特征：和外部多头激活特征：最后，将这些多头激活特征拼接在一起并通过一个1×1卷积融合： 此处为1×1卷积核参数，之后将得到X′归一化并和X以残差的形式送入两层全连接层进一步提取特征，即： X”＝αX′+X×W1×W2+X′+X 其中代表两层全连接层的参数矩阵，d′是第一层全连接层的输出维度，α·代表RELU激活函数，是整个对偶注意力模块的输出，还原成其与输入大小相等，于是通过堆叠L层对偶注意力模块来构建图像特征提取器ft来提取图像特征，然后通过2×2的卷积层进行下采样得到维度为的特征矩阵，再将其进行池化得到1×C维的特征向量；最后将1×C维的特征向量送入余弦相似度分类器； 3.设计自适应注意力固化损失 表示在第t个任务下，第l层对偶注意力模块的第h个头的外部注意力激活特征，那么自适应注意力固化表示如下： 其中⊙表示哈达玛积，||·||F表示Frobenius范数，表示通用的分类损失，则代表重要性，由前一个任务相对的平均损失梯度计算得到； 4.设计最近邻不变损失 损失函数表示如下： 其中表示训练的批次大小batch-size，表示在上一次模型Mt-1的特征空间中，前k个离最近的邻居所组成的集合,表示的真值ground-truth，表示每个邻居z在新模型Mt上被分类为的概率；表示：输入图像在上个模型Mt-1的特征空间上前k个邻居应该在新模型Mt上被聚为一类；wi,z代表对应邻居的权重，由以下公式计算： 这里ft-1·代表上个模型Mt-1中由对偶注意力模块堆叠而成的特征提取器； 步骤二：调整网络参数，进行神经网络的训练和测试 采用Pytorch架构，使用优化器为随机梯度下降优化器；对于CIFAR-100数据集，设置初始学习率为0.1，批大小为128，迭代次数为160，Transformer注意力头数为4，维度为96，对偶注意力模块堆叠数为2；对于ImageNe-Subset数据集，设置初始学习率为0.1，批大小为64，迭代次数为90，Transformer注意力头数为4，维度为256，对偶注意力模块堆叠数堆叠数为2； 输入测试数据集:对于CIFAR-100数据集，以全部100类共10,000张图片用于测试集；对于ImageNe-Subset数据集，以全部100类共5,000张网络下载的图片用于测试集； 以RGB图像数据为输入，首先对数据集进行类增量划分；再将划分好的图像数据送入对偶注意力的视觉Transformer图像分类网络，对建立的模型参数进行训练；之后增加新类图像数据再次对整个模型进行训练，重复此步骤直至没有新类增加；最后对训练好的模型进行测试，输出类增量图像分类结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京工业大学，其通讯地址为：100124 北京市朝阳区平乐园100号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。