买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:清华大学
摘要:本发明提供一种半结构化稀疏模型获取方法及装置,用于通过训练过程实现将稠密模型转换为半结构化稀疏模型,该方法包括:在每步训练过程中,获取基于预设的Mask机制得到的Mask结果,根据Mask结果获取Mask值为0的权重,并降低Mask值为0的权重的绝对值;训练结束后,根据预设的半结构化修剪的剪枝比例,将权重绝对值较低的满足剪枝比例的权重置0,得到半结构化稀疏模型。本发明提供的半结构化稀疏模型获取方法及装置,通过逐步的训练过程确定待剪枝权重,进而进行权重修剪,实现了从稠密模型到稀疏模型的平滑过渡,有利于利用稠密模型学习到的知识和能力,提高半结构化稀疏模型的性能,减少半结构化稀疏模型和稠密模型的性能差距。
主权项:1.一种半结构化稀疏模型获取方法,其特征在于,用于通过训练过程实现将稠密模型转换为半结构化稀疏模型,所述方法包括:在每步训练过程中,获取基于预设的Mask机制得到的Mask结果,根据所述Mask结果获取Mask值为0的权重,并降低所述Mask值为0的权重的绝对值;训练结束后,根据预设的半结构化修剪的剪枝比例,将权重的绝对值较低的满足所述剪枝比例的权重置0,得到所述半结构化稀疏模型。
全文数据:
权利要求:
百度查询: 清华大学 半结构化稀疏模型获取方法及装置
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。