龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：苏州亿铸智能科技有限公司
摘要：本公开提供了一种注意力运算处理方法和装置，方法包括：将查询矩阵、键矩阵和值矩阵分别分成查询矩阵块、键矩阵块和值矩阵块，调度到寄存器中；通过张量处理器，从寄存器中读取查询矩阵块和键矩阵块，并对查询矩阵块和键矩阵块进行矩阵乘运算，得到子乘积矩阵并写回寄存器；通过指数化处理单元，基于寄存器中的子乘积矩阵进行指数化处理，得到子指数矩阵并写回寄存器；从寄存器中读取子指数矩阵、和值矩阵块，并基于子指数矩阵和值矩阵块进行矩阵乘运算，生成注意力运算结果子块；基于各个注意力运算结果子块，得到注意力运算结果矩阵。基于本公开的注意力运算处理方法，可以降低注意力运算过程中的访存开销，并提高注意力运算的效率。
主权项：1.一种注意力运算处理方法，其特征在于，用于注意力运算处理装置，所述注意力运算处理装置包括张量处理器和计算单元，所述计算单元包括寄存器和指数化处理单元，所述注意力运算处理方法包括：将用于目标注意力运算的查询矩阵、键矩阵和值矩阵分别分成查询矩阵块、键矩阵块和值矩阵块，调度到所述寄存器中；通过所述张量处理器，从所述寄存器中读取所述查询矩阵块和所述键矩阵块，并对所述查询矩阵块和所述键矩阵块进行矩阵乘运算，得到子乘积矩阵，并将所述子乘积矩阵写回所述寄存器；通过所述指数化处理单元，对所述寄存器中的所述子乘积矩阵进行指数化处理，得到子指数矩阵，并将所述子指数矩阵写回所述寄存器指数化处理单元；通过所述张量处理器，从所述寄存器中读取所述子指数矩阵、和与所述子指数矩阵对应的所述值矩阵块，并基于所述子指数矩阵和所述值矩阵块进行矩阵乘运算，生成注意力运算结果子块；基于各个所述注意力运算结果子块，得到注意力运算结果矩阵。
全文数据：
权利要求：
百度查询： 苏州亿铸智能科技有限公司 注意力运算处理方法和装置
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号