龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：西北工业大学
摘要：本发明公开了一种基于迭代式重参数化和网络架构搜索的模型构建方法，首先扩展基线网络，得到能够重参数化合并的多分支网络；接下来对扩展后的基线网络进行训练；然后利用网络架构搜索的方法对训练得到的分支网络进行选择；之后将搜索得到的分支网络利用结构重参数化的方法合并；最终判断是否需要继续训练；如果网络精度在连续5轮训练之内没有提升就结束，否则继续重复。本发明能够解决多分支网络训练时最终效果趋同的问题，从而最大程度的将精度提升与结构重参数化保留模型原本结构的特点结合起来，增强其实用性。
主权项：1.一种基于迭代式重参数化和网络架构搜索的模型构建方法，其特征在于，包括如下步骤：步骤1：扩展基线网络，得到能够重参数化合并的多分支网络；以每个KxK卷积为主干分支，将其扩展为四路多分支结构，包括1x1卷积、1x1卷积接KxK卷积、1x1卷积接平均池化、KxK卷积，K是卷积核的大小；并在每个卷积和池化层后都接BN层；接着对新扩展的分支进行权重初始化，并保留原来的主干分支权重不变；步骤2：对扩展后的基线网络进行训练；在训练时加入路径采样，即每次随机选择n个分支进行前向和反向传播并更新梯度；训练过程为：将公开图像分类数据集作为训练集输入扩展后的基线网络进行前向传播，遇到步骤1中构建的分支结构时随机选择包括主干分支在内的n条分支继续前向传播；之后将网络的输出与图像分类数据集的标注真值计算损失，再反向传播更新参数，迭代多轮直至收敛；步骤3：利用网络架构搜索的方法对训练得到的分支网络进行选择；遍历不同的分支组合并在公开数据集的测试集上测试得出其精度，选择出精度最高的分支组合；步骤4：将步骤3中搜索得到的分支网络利用结构重参数化的方法合并；首先将每个分支中的卷积核通过补零来统一成相同大小，之后将批归一化层融合进卷积层，将一个无偏置的卷积核和批归一化合并成为一个有偏置的卷积核，最后将各个卷积核的参数相加得到完全等价的单路结构；将一个四路的多分支模块合并为单路KxK卷积模块；步骤5：判断是否需要继续训练；如果网络精度在连续5轮训练之内没有提升就结束，否则继续步骤1。
全文数据：
权利要求：
百度查询： 西北工业大学 一种基于迭代式重参数化和网络架构搜索的模型构建方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号