买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉南京大学申请的专利一种兼容N : M稀疏的Transformer加速器的架构及加速方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116167419B 。

龙图腾网通过国家知识产权局官网在2025-12-05发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202111386001.0，技术领域涉及：G06N3/063；该发明授权一种兼容N : M稀疏的Transformer加速器的架构及加速方法是由王中风;方超;林军设计研发完成，并于2021-11-22向国家知识产权局提交的专利申请。

本一种兼容N : M稀疏的Transformer加速器的架构及加速方法在说明书摘要公布了：本申请涉及人工智能算法硬件加速技术领域，提供一种兼容N:M稀疏的Transformer加速器的架构及加速方法，Transformer加速器的架构包括控制单元、储存单元和计算单元；计算单元包括多模兼容矩阵乘法计算模块、矢量计算模块、重排模块、Softmax计算模块。在实际应用中，多模兼容矩阵乘法计算模块负责Transformer模型中运算量密集的矩阵乘法的计算，根据控制信号动态配置，执行两个稠密矩阵的矩阵乘法计算，或者执行单个N:M结构化稀疏矩阵与单个稠密矩阵的矩阵乘法计算；Softmax计算模块负责计算Transformer模型中的Softmax算子，矢量计算模块用于累加多模兼容矩阵乘法计算模块的运算结果，并将累加的运算结果发送至重排模块；重排模块用于对累加的运算结果进行重排，并存储至中间数据存储器或激活存储器。

本发明授权一种兼容N : M稀疏的Transformer加速器的架构及加速方法在权利要求书中公布了：1.一种兼容N:M稀疏的Transformer加速器的架构，其特征在于，Transformer加速器的架构包括控制单元、储存单元和计算单元； 控制单元，用于获取外部软件端的配置信息，以及外部软件端的运算任务，并根据所述运算任务，生成控制信号动态配置，以及，根据控制信号动态配置对加速器的架构的寄存器进行配置，并控制计算单元和存储单元的运行； 计算单元，包括多模兼容矩阵乘法计算模块、矢量计算模块、重排模块、Softmax计算模块； 储存单元，包括权重存储器、激活函数存储器和中间数据存储器； 所述多模兼容矩阵乘法计算模块，用于根据控制信号动态配置，执行两个稠密矩阵的矩阵乘法计算，或者，执行单个N:M结构化稀疏矩阵与单个稠密矩阵的矩阵乘法计算 Softmax计算模块，用于计算Transformer模型中的Softmax算子； 矢量计算模块，用于累加所述多模兼容矩阵乘法计算模块的运算结果，并将累加的运算结果发送至重排模块； 重排模块，用于对所述累加的运算结果进行重排，并存储至中间数据存储器或激活存储器； 权重存储器，用于获取外部存储器上存储的权重，并将权重输入至所述多模兼容矩阵乘法计算模块； 激活函数存储器，用于获取外部存储器上存储的激活函数；以及存储计算单元输出的计算结果，并将所述计算结果传输到外部存储器上； 中间数据存储器，存储计算单元产生的中间数据； 其中，所述多模兼容矩阵乘法计算模块包括8个并行的的二维计算阵列，单个二维计算阵列包括累加器和非零元素选择器，以及设置在输出端的多个多路选择器和寄存器； 非零元素选择器，用于选择非零权重对应的激活元素； 所述累加器用于对输入的16比特权重和16比特激活函数执行乘法运算后，并将运算获得的结果与存储在计算单元内部的局部结果进行累加； 所述Softmax计算模块包括指数函数运算器、数据缓冲器、累加树模块和除法单元模块； 所述数据缓冲器和累加树模块均设置在所述指数函数运算器和除法单元模块之间； 指数函数运算器，用于对输入数据进行分割； 数据缓冲器，用于暂存指数函数运算器的分割结果； 累加树模块，用于对指数函数运算器的分割结果进行求和； 除法单元模块，用于对数据缓冲器暂存的指数函数的分割结果与累加树模块的求和结果进行除法运算； 所述除法单元模块包括一个减法器、比较器以及移位器组成；多个除法单元模块通过流水线级联。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南京大学，其通讯地址为：210023 江苏省南京市栖霞区仙林大道163号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。