买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中国科学院计算技术研究所申请的专利基于数据流架构加速器的注意力机制融合方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119940434B 。

龙图腾网通过国家知识产权局官网在2025-10-31发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510009132.9，技术领域涉及：G06N3/063；该发明授权基于数据流架构加速器的注意力机制融合方法及装置是由李文明;朱文杰;黄俊英;叶笑春;范东睿设计研发完成，并于2025-01-03向国家知识产权局提交的专利申请。

本基于数据流架构加速器的注意力机制融合方法及装置在说明书摘要公布了：本发明提出一种基于数据流架构加速器的注意力机制融合方法和装置，包括用于在GPDPU加速器上加速Attention计算的方法，该方法根据Attention中embedding的维度和输入序列长度的乘积来选择融合方案，对于维度较小的计算，通过预先传入转置数据的方式将所有操作融合在同一个核函数中，从而减少配置指令的时间和访存开销，对于维度较大的计算，将输入数据分块传入暂存数据缓存SPM的存储器中用于计算，将Attention的计算步骤融合为两个复用程度很高的核函数减少指令信息的配置时间。

本发明授权基于数据流架构加速器的注意力机制融合方法及装置在权利要求书中公布了：1.一种基于数据流架构加速器的注意力机制融合方法，其特征在于，包括： 初始步骤，获取用于执行注意力计算的数据流架构加速器，该数据流架构加速器包括 主存、缓存、处理单元；当输入序列矩阵的长度和embedding维度相乘低于阈值时，执行第一融合步骤，通过预先传入转置数 据的方式将5个核函数操作融合在同一个核函数中；当输入序列矩阵的长度和embedding维 度相乘大于等于该阈值时，执行第二融合步 骤，将输入数据分块传入暂存数据缓存SPM的存储器中用于计算，将Attention的计算步骤 中的5个核函数融合为两个核函数；式中x为输入序列长度,d为embedding维度，h为注意力 头数，b为单个数据占字节数，C为缓存容量的字节数； 该第一融合步骤包括：将该输入序列矩阵、该输入序列的转置矩阵、权重矩阵Wq的转置、权重矩阵Wk、权重矩阵Wv的转置从该主存转入该缓存，通过矩阵乘1得到查询矩阵Q的转置、键矩阵K和值矩阵V的转置，再通过该处理单元执行矩阵乘2计算键矩阵K和查询矩阵Q的转置矩阵相乘得到S的转置矩阵；依次对S的转置矩阵进行按位除法与按列的softmax激活计算得到P的转置矩阵，最后通过该值矩阵V的转置矩阵与P的转置矩阵进行矩阵乘3，得到O的转置矩阵，最终将O的转置矩阵再转置传回主存中得到O矩阵，作为注意力计算结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国科学院计算技术研究所，其通讯地址为：100080 北京市海淀区中关村科学院南路6号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。