买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉东南大学申请的专利可兼容多头自注意力和卷积计算的数据流设计方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119003955B 。

龙图腾网通过国家知识产权局官网在2025-10-31发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411017062.3，技术领域涉及：G06F17/15；该发明授权可兼容多头自注意力和卷积计算的数据流设计方法是由齐志;刘炫宇;刘昊设计研发完成，并于2024-07-29向国家知识产权局提交的专利申请。

本可兼容多头自注意力和卷积计算的数据流设计方法在说明书摘要公布了：本发明公开了一种面向Transformer模型的可兼容多头自注意力和卷积计算的数据流设计方法。首先，本发明对Transformer模型中的多头自注意力模块提出了一种基于三元矩阵乘法算子的等价计算形式。然后，基于脉动阵列的数据传输形式，本发明通过算子融合设计了三元矩阵乘法算子的数据流，该数据流包括向量×向量模式和元素×向量模式，使中间计算结果保持在计算单元中，完全避免了中间结果向片外存储和片上全局缓存进行数据搬移。最后，基于该数据流，本发明提出了可兼容多头自注意力和卷积的计算策略以及对应的映射方案，充分利用了各种数据复用机会，实现了多头自注意力算子和卷积算子的高能效计算。

本发明授权可兼容多头自注意力和卷积计算的数据流设计方法在权利要求书中公布了：1.一种可兼容多头自注意力和卷积计算的数据流设计方法，其特征在于，包括以下步骤： S100：将多头自注意力算子涉及到的矩阵向量进行变形，包括偏置向量和权重向量的融合，以及元素全为1的列向量与输入特征向量的融合； S200：根据经过变形的矩阵向量，得到多头自注意力算子的等价计算形式，包括三元矩阵乘法算子、二元矩阵乘法算子和Softmax算子，其中三元矩阵乘法算子为三个矩阵连续相乘，计算形式为T＝A×B×CT； S300：分别以向量×向量和元素×向量两种数据流模式完成三元矩阵乘法算子和二元矩阵乘法算子的计算； 向量×向量数据流模式是指，通过脉动阵列的形式，在每个计算周期内，计算单元能够读取输入数据A和B，并完成一次乘累加运算，随后立即将在本周期内接收的输入数据分别传递给右方和下方的计算单元，使得该输入数据在下个周期内可以被相邻的计算单元使用，而在本周期内计算得到的部分和M＝A×B会一直驻留在计算单元中并不断地累加和更新，当这个部分和被累加成完整的结果后，计算单元会将该元素存储到它的本地缓存中，以供该计算单元在元素×向量模式下读取并使用； 元素×向量数据流模式是指，输入矩阵C在列计算单元间脉动传输，而在行计算单元间脉动传输的是输出矩阵T的部分和；在开始脉动传输矩阵C之前，每个计算单元会从本地缓存中读取中间结果M中的一个元素，然后在接收到矩阵C中的数据后进行一次乘法运算，并与左边计算单元传来的部分和进行累加，随后将刚接收到的矩阵C传输给下方的计算单元，而将运算得到的部分和传输给右方的计算单元；最终，最右侧的一列计算单元将脉动输送一系列T的部分和，这些部分和将送入FIFO并在FIFO中实现连续的累加； S400：卷积的计算方法是：依据在多头自注意力算子的计算过程中各矩阵向量在内存中的存储格式，并且根据元素×向量的数据流模式，从卷积核和输入特征中按卷积窗口滑动的规则抽取出相应的行向量并组成二维矩阵，然后依据元素×向量模式完成卷积算子的计算； 多头自注意力算子等价计算形式的5个计算步骤： 步骤1： 步骤2： 步骤3：Sout-1,Sout-2,...,Sout-h＝SoftmaxSin-1,SoftmaxSin-2,...,SoftmaxSin-h； 步骤4：V＝XfWfV； 步骤5：O＝ConcatSout-1V1,Sout-2V2,...,Sout-hVhWfO； 其中Xf是输入特征与全“1”列向量的融合向量，WfQ、WfK、WfV分别是多头自注意力算子中Q、K、V权重向量与偏置向量的融合向量，d是每个注意力头内的通道数；Sin、Sout是计算过程中的中间结果，h是注意力头的数量、U是归一化后的键向量，V是值向量，O是多头自注意力输出特征。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人东南大学，其通讯地址为：211189 江苏省南京市江宁区东南大学路2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。