买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:西北工业大学
摘要:本发明涉及一种基于泰勒展开的图像分类网络层剪枝方法,属于图像处理与识别技术领域。对BN层的缩放因子和偏置因子同时进行分析,基于泰勒展开方法鉴别对网络损失函数影响较小的网络层并进行剔除,从而达到网络层剪枝的目的。将其应用于图像分类任务,能够在保证分类准确率的前提下达到较高的压缩率,同时提高模型的运算速度,便于其在手机等终端移动设备中的应用。
主权项:1.一种基于泰勒展开的图像分类网络层剪枝方法,其特征在于步骤如下:步骤1:将预训练模型在训练集上进行一次迭代训练,通过误差反向传播获取网络中各参数的梯度信息;步骤2:根据下式计算网络中每个BasicBlock的重要性pl: 式中,代表了第l个BasicBlock中第j个BN层的重要性,和分别是将γi和βi置为0时引起的变化量,和分别是γi和βi关于的梯度,l∈1,2,…,L,L为网络中BasicBlock的总个数;和分别是BN层中可训练的缩放因子和偏置;将同一分辨率阶段内的pl归一化至[0,1],即: 式中,Pl为归一化后BasicBlock的重要性,pmax和pmin分别是该阶段中pl的最大值和最小值;对于具有下采样层的BasicBlock,由于其特殊性不能被剪除,故将这些BasicBlock的重要性设置为1;步骤3:根据需要达到的压缩率r,确定要保留下来的BasicBlock数量为l0=rL,需要去除的BasicBlock数量为l1=L-l0;将所有BasicBlock的重要性Pl进行全局排序,去除l1个重要性最低的BasicBlock,进而得到层剪枝后的网络模型;步骤4:对层剪枝后的网络模型进行训练,以恢复模型的分类准确率,得到最终的网络模型。
全文数据:
权利要求:
百度查询: 西北工业大学 一种基于泰勒展开的图像分类网络层剪枝方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。