买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜中山大学申请的专利基于重参数化的预训练神经网络的无参数自动自适应方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114821270B 。

龙图腾网通过国家知识产权局官网在2025-04-04发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210535989.0，技术领域涉及：G06V10/82；该发明授权基于重参数化的预训练神经网络的无参数自动自适应方法是由梁小丹;张吉褀设计研发完成，并于2022-05-17向国家知识产权局提交的专利申请。

本基于重参数化的预训练神经网络的无参数自动自适应方法在说明书摘要公布了：本发明提供一种基于重参数化的预训练神经网络的无参数自动自适应方法，该方法基于重参数化方法，使滤波器在冻结的预训练的权重和完全微调的权重之间实现软平衡，并且可以等价地转换为单个权重层，而无需在推理阶段引入额外的模型参数；分析表明，该方法可以模拟神经网络层中每个滤波器以不同的学习率微调。因此，该方法实现了预训练模型的自动自适应，而无需额外的搜索成本。

本发明授权基于重参数化的预训练神经网络的无参数自动自适应方法在权利要求书中公布了：1.一种基于重参数化的预训练神经网络的无参数自动自适应方法，所述方法用于图像识别，其特征在于，包括以下步骤：S1：将网络的每个卷积-批规范化层扩展为两个分支的加权和，一个参数来自预训练模型的冻结分支和一个用于适配目标任务的可训练分支；S2：在目标任务上进行重参数化自适应调优，联合优化网络参数和分支缩放因子，为每个滤波器模拟任意学习率下的微调；S3：在推理阶段利用重参数化将两个分支等价地转换为单个权重层；所述步骤S1中，将网络的每个卷积-批规范化层扩展为两个分支的加权和，一个参数来自预训练模型的冻结分支和一个用于适配目标任务的可训练分支，是将图像识别神经网络的每个卷积-批规范化层扩展为两个卷积-批规范化分支的加权和，两个分支都用相同的预训练网络参数初始化，其中一个分支冻结，另一个分支不冻结；所述步骤S1中，用ψ表示一个配备了一个随机初始化的特定任务头部的预训练模型，给定一个目标为的目标任务，模型自适应通过执行特定的迁移策略产生目标模型ψ*： 在计算机视觉领域，卷积网络的迁移学习策略在目标任务上使用与预训练模型相同的网络结构，其中网络参数ω继承自预训练的ω0，这些策略分为两类：微调策略和线性探测策略，这些策略的本质区别在于每个网络参数的学习率，不失一般性，设ηm为参考学习率，η∈R|i|表示所有|i|滤波器的学习率乘数ηi∈R其中，i表示滤波器索引，|i|表示滤波器总数，给定超参数η，这些模型自适应策略的目标是： 在这个框架中，微调策略相当于为所有参数设置一个全局η，而线性探测策略相当于为所有预训练的参数设置η＝0；冻结滤波器和微调滤波器之间的软平衡代表它们之间的中间状态，即以较小的学习率进行滤波器调优，而每个参数的最佳学习率受数据分布、模型结构因素的影响，旨在自动化学习目标任务的合理迁移策略自动化模型自适应的目标表示为： 为了使滤波器在冻结的预训练的权重和完全微调的权重之间实现软平衡，将网络的每个卷积-批规范化层扩展为两个分支，一个参数来自预训练模型的冻结分支和一个用于适配目标任务的可训练分支，这两个分支都用相同的预训练网络参数初始化；两个分支的每个滤波器显式引入了缩放因子其中d表示一个网络层中的滤波器序号，重参数化自适应定义为： 其中ω0和表示预训练的网络参数和微调分支的参数，diag·表示将向量转换成对角矩阵；所述步骤S3中，使用两个分支的软加权进行自适应通常会引入两倍的模型大小和计算量，导致较高的推理成本；使用重参数化策略来避免这种困境，一个自适应网络层由冻结分支和微调分支组成，这两个分支都由一个卷积Conv层和一个批规范化BN层组成，卷积层的权重和可选的偏差可以分别用w和b表示，BN层执行逐通道的规范化和缩放，用μ和σ表示训练样本的累积均值和方差，用γ和β作为逐通道的缩放因子，一个Conv-BN分支合并为单个Conv层，如下所示： 其中*表示卷积操作，w′和b′是合并后的Conv层的权重和偏差；如果两个或多个具有相同配置的Conv层的输出相加，将它们合并为一个Conv；设W0、b0分别为冻结Conv-BN分支的权重和偏差，分别为微调Conv-BN分支的权重和偏差，两个分支的加权和，转换为： 因此，合并成单个卷积层： 这样，在推理阶段，具有两个分支的重参数化自适应可以等价转换为单个权重层从而实现无参数的模型自适应。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中山大学，其通讯地址为：510275 广东省广州市海珠区新港西路135号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。