买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:杭州海康威视数字技术股份有限公司
摘要:本申请实施例提供了一种自注意力机制计算方法、推理方法,该方法包括:基于待处理对象确定查询矩阵、键矩阵、以及值矩阵;待处理对象包括图像、文本、视频、音频、信号中的任一种或多种;并计算查询矩阵与转置后键矩阵的乘积,作为第一乘积矩阵;以自然常数e为底数,并以第一乘积矩阵为指数,得到第二乘积矩阵;若值矩阵的列数小于第一乘积矩阵的列数,计算第二乘积矩阵与值矩阵的乘积,作为第三乘积矩阵;计算第二乘积矩阵的和值,作为矩阵和值;并计算第三乘积矩阵与矩阵和值的比值,作为基于自注意力机制得到的输出特征。应用本申请实施例提供的技术方案,能够提高基于自注意力机制的推理任务的效率。
主权项:1.一种自注意力机制计算方法,其特征在于,所述方法包括:基于待处理对象确定查询矩阵、键矩阵、以及值矩阵;所述待处理对象包括图像、文本、视频、音频、毫米波信号、雷达信号中的任一种或多种;对所述键矩阵进行转置,得到转置后键矩阵;并计算所述查询矩阵与所述转置后键矩阵的乘积,作为第一乘积矩阵;以自然常数e为底数,并以所述第一乘积矩阵为指数,得到第二乘积矩阵;若所述值矩阵的列数小于所述第一乘积矩阵的列数,计算所述第二乘积矩阵与所述值矩阵的乘积,作为第三乘积矩阵;计算所述第二乘积矩阵的和值,作为矩阵和值;并计算所述第三乘积矩阵与所述矩阵和值的比值,作为基于自注意力机制得到的输出特征;若所述值矩阵的列数大于所述第一乘积矩阵的列数,计算所述第二乘积矩阵的和值,作为所述矩阵和值;并计算所述第二乘积矩阵与所述矩阵和值的比值,作为第四乘积矩阵;计算所述第四乘积矩阵与所述值矩阵的乘积,作为所述基于自注意力机制得到的输出特征。
全文数据:
权利要求:
百度查询: 杭州海康威视数字技术股份有限公司 一种自注意力机制计算方法、推理方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。