买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:英特尔公司
摘要:本申请提供了一种用于基于硬件感知稀疏性模式加速深度学习推理的方法和装置。该方法可包括基于由硬件单元的ISA指定的寄存器宽度,来确定硬件感知稀疏性模式,硬件单元用于实现DNN以进行深度学习推理稀疏性模式指定用于DNN中的算子的权重矩阵的按块稀疏化的块大小和稀疏性比率;在DNN的训练过程期间,基于稀疏性模式对权重矩阵执行按块稀疏化,以获得稀疏权重矩阵;通过从稀疏权重矩阵中移除全零块,将稀疏权重矩阵压缩为集中权重矩阵;并且生成掩码来指示出稀疏权重矩阵中的每一行非零块的索引,以使得能够从算子的激活矩阵中提取相应的元素。
主权项:1.一种用于深度神经网络DNN的装置,包括:接口电路;以及处理器电路,该处理器电路与所述接口电路耦合并且被配置为:基于由硬件单元的指令集体系结构ISA指定的寄存器宽度,来确定硬件感知稀疏性模式,所述硬件单元用于实现所述DNN以进行深度学习推理,所述稀疏性模式指定用于所述DNN中的算子的权重矩阵的按块稀疏化的块大小和稀疏性比率;在根据经由所述接口电路接收的训练数据集的所述DNN的训练过程期间,基于所述稀疏性模式为所述权重矩阵执行所述按块稀疏化,以获得稀疏权重矩阵;通过从所述稀疏权重矩阵中移除全零块,将所述稀疏权重矩阵压缩为集中权重矩阵;并且生成掩码来指示出所述稀疏权重矩阵中的每一行非零块的索引,以使得能够在所述深度学习推理期间从所述算子的激活矩阵中提取相应的元素。
全文数据:
权利要求:
百度查询: 英特尔公司 基于硬件感知稀疏性模式加速深度学习推理的方法和装置
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。