Document
拖动滑块完成拼图
个人中心

预订订单
服务订单
发布专利 发布成果 人才入驻 发布商标 发布需求

在线咨询

联系我们

龙图腾公众号
首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索
当前位置 : 首页 > 专利喜报 > 恭喜中国科学院计算技术研究所李广力获国家专利权

恭喜中国科学院计算技术研究所李广力获国家专利权

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

龙图腾网恭喜中国科学院计算技术研究所申请的专利一种面向神经网络模型压缩的加速方法及系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115018049B

龙图腾网通过国家知识产权局官网在2025-05-16发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202210587507.6,技术领域涉及:G06N3/0464;该发明授权一种面向神经网络模型压缩的加速方法及系统是由李广力;马秀;王雪莹设计研发完成,并于2022-05-25向国家知识产权局提交的专利申请。

一种面向神经网络模型压缩的加速方法及系统在说明书摘要公布了:本发明提出一种面向神经网络模型压缩的加速方法和系统,其在模型压缩过程中使用掩码感知的卷积计算方式可以加速模型的前馈传播。掩码感知的卷积计算方式利用掩码信息,动态地转换滤波器的权重参数,展开输入张量,以及恢复输出张量。在模型压缩的反向传播中,利用掩码感知的方式,对卷积层的输入张量的梯度的计算进行加速,利用掩码信息,动态地转换滤波器的权重参数和输出张量的梯度。

本发明授权一种面向神经网络模型压缩的加速方法及系统在权利要求书中公布了:1.一种面向神经网络模型压缩的加速方法,其特征在于,包括:步骤1、获取训练数据集训练周期epochmax、剪枝率神经网络模型的权重参数L是神经网络模型中卷积层的个数;步骤2、遍历该神经网络模型的卷积层,对卷积层的滤波器的权重参数的重要性进行排序,并根据排序结果,在掩码中将前个最不重要的滤波器的权重参数对应的元素值置0,其中Kl为中滤波器的个数;步骤3、遍历所有卷积层,执行与的逐元素相乘步骤4、基于和训练数据集通过掩码感知的卷积计算方式计算神经网络模型的的输出;步骤5、根据该输出和训练数据集的标签,得到该神经网络模型的损失函数;步骤6、基于掩码信息,利用掩码感知的卷积计算方式,计算损失函数对输入张量和权重参数的梯度;步骤7、使用该梯度更新权重参数步骤8、将步骤2-7执行epochmax个周期后,移除当前神经网络模型中标记为零的权重参数,得到压缩模型;其中该步骤4中掩码感知的卷积计算方式包括:步骤41、根据神经网络模型中第l层的掩码信息和第l–1层的掩码信息有序组织该权重参数中有效滤波器的权重参数,得到该权重参数对应的K′l×C′l·Rl·Sl的稠密矩阵K′l表示有效的滤波器的个数,C′l表示每个滤波器中有效的通道的个数,Rl表示滤波器的高,Sl表示滤波器的宽;步骤42、基于图像到矩阵算法,通过掩码识别输入张量的有效通道进行展开,随着卷积核在输入张量的有效通道上移动,将有效通道上元素向量化为矩阵的一列,得到输入张量的稠密矩阵形状为C′l·Rl·Sl×Hl+1·Wl+1;步骤43、执行矩阵乘法得到一个K′l×Hl+1·Wl+1的输出矩阵步骤44、利用掩码对进行逆展开操作,将输出矩阵恢复为原始的卷积的输出张量该步骤6中掩码感知的卷积计算方式包括:步骤61、利用掩码和对中的有效权重参数重新排列,跳过无效的权重参数,得到一个K′l×C′l·Rl·Sl的稠密矩阵步骤62、利用掩码对神经网络模型中第l层卷积层的输出张量的梯度进行转换,将其有效的通道有序地重新排列,同时跳过无效的通道,获得K′l×Hl+1·Wl+1的稠密矩阵步骤63、执行矩阵乘法得到一个C′l·Rl·Sl×Hl+1·Wl+1的输出矩阵步骤64、针对输出矩阵基于矩阵到图像算法,根据掩码只对有效的通道进行转换,将映射到的Cl×Hl×Wl的数据布局上;该神经网络模型为图片分类模型,该训练数据集包括多张图片,该标签为图片对应的类别,该步骤8包括将待分类图片输入至该压缩模型,得到该待分类图片的类别。

如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人中国科学院计算技术研究所,其通讯地址为:100080 北京市海淀区中关村科学院南路6号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。