首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

基于神经架构搜索的剪枝方法 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

申请/专利权人:中国科学院长春光学精密机械与物理研究所

摘要:本发明涉及计算机技术领域,尤其涉及一种基于神经架构搜索的剪枝方法,首先获取网络模型的初始权重矩阵和初始信息素浓度矩阵;然后对初始权重矩阵进行伪剪枝,并对网络模型的信息素浓度矩阵进行更新,得到网络模型中的所有神经元的权重和信息素浓度;将所有神经元进行分组得到每个神经元的信息素浓度集合,根据每个神经元的信息素浓度集合确定每个神经元的重要性系数;最后所有神经元的重要性系数进行排序,根据排序结果对神经元开始移除,从而完成网络剪枝;本发明通过基于神经架构搜索的方法,优化剪枝算法,使其能够适应复杂网络结构;然后通过信息素浓度对参数重要性进行合理判定,确保剪枝后的模型依然保持高精度。

主权项:1.一种基于神经架构搜索的剪枝方法,用于对深度学习网络进行剪枝,其特征在于:包括以下步骤:S1:对深度学习网络的网络模型进行预训练,得到所述网络模型中每层网络对应的初始权重矩阵;同时创建所述网络模型的初始信息素浓度矩阵;S2:对每层网络对应的初始权重矩阵进行伪剪枝得到每层网络对应的权重矩阵;对网络模型的信息素浓度矩阵进行更新,进而得到所述网络模型中的所有神经元的权重和信息素浓度;S3:对所述网络模型中的神经元进行分组,得到每个神经元的权重集合,以及每个神经元的信息素浓度集合,根据每个神经元的信息素浓度集合确定每个神经元的重要性系数;S4:根据设定的剪枝率确定需要剪枝的权重数量;将所有神经元的重要性系数进行排序,根据排序结果对神经元进行移除,直至移除的神经元的数量达到需要剪枝的权重数量;S5:将训练样本输入到步骤S4得到的网络模型中,并进行不多于10次的训练,选择精度最高的网络模型;所述训练样本为图像训练样本。

全文数据:

权利要求:

百度查询: 中国科学院长春光学精密机械与物理研究所 基于神经架构搜索的剪枝方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

相关技术
相关技术
相关技术
相关技术