买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉荣耀终端股份有限公司申请的专利基于神经网络的推理方法、电子设备及相应装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN118446306B 。

龙图腾网通过国家知识产权局官网在2025-06-06发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202311866193.4，技术领域涉及：G06N5/04；该发明授权基于神经网络的推理方法、电子设备及相应装置是由孙峰设计研发完成，并于2023-12-29向国家知识产权局提交的专利申请。

本基于神经网络的推理方法、电子设备及相应装置在说明书摘要公布了：本申请提供一种基于神经网络的推理方法、电子设备及相应装置。该方法可由目标芯片执行。该方法中，将第一矩阵中的至少部分存储至目标芯片的片内内存中，并在推理过程中，基于片内内存中存储的第一矩阵中的至少部分以及片内内存的可用存储空间，对Q矩阵、K矩阵和V矩阵进行运算。本申请实施例提供的方案在进行推理时，可从片内内存中读取其中存储的第一矩阵中的至少部分，与现有的Q矩阵、K矩阵和V矩阵均全部存储至片外内存的方案相比，能够减少向片外内存读取数据的数据量，即减少全局仿存的次数。而从片内内存中读取数据的速度快于从片外内存读取数据的速度，因此，通过本申请实施例提供的方案，能够减少推理过程中的耗时，提高推理效率。

本发明授权基于神经网络的推理方法、电子设备及相应装置在权利要求书中公布了：1.一种基于神经网络的推理方法，其特征在于，应用于目标芯片，所述方法包括：通过访问所述目标芯片的片外内存，读取所述片外内存存储的第一矩阵，所述第一矩阵为查询矩阵、关键矩阵和权重矩阵中的至少一个矩阵；基于所述第一矩阵的数据量，以及所述目标芯片的片内内存的存储容量，将所述第一矩阵中的至少部分从片外内存存储至所述片内内存；基于所述片内内存中存储的所述第一矩阵中的至少部分以及所述片内内存的可用存储空间，对所述查询矩阵、所述关键矩阵和所述权重矩阵进行运算；若所述第一矩阵包括所述查询矩阵、所述关键矩阵和所述权重矩阵，且所述查询矩阵的完整部分、所述关键矩阵的完整部分与所述权重矩阵的完整部分均存储于所述片内内存，所述对所述查询矩阵、所述关键矩阵和所述权重矩阵进行运算，包括：针对第二矩阵中的各个子矩阵，分别确定各个所述子矩阵的第一最大值和第二最大值，所述第二矩阵为各行所述查询矩阵与各个第四矩阵切块的乘积构成的矩阵，每个所述第四矩阵切块包括所述关键矩阵中的至少一列，所述子矩阵为各行所述查询矩阵分别与所述关键矩阵中的各个所述第四矩阵切块的乘积，第a行所述第二矩阵中的第b个所述子矩阵的第一最大值为第a行的前b-1个所述子矩阵中各个元素的最大值，第a行所述第二矩阵的第b个所述子矩阵的第二最大值为所述第一最大值与所述第b个子矩阵中各个元素的最大值中的最大值；根据各行所述第二矩阵中的各个元素以及所述元素所在的子矩阵的第一最大值和第二最大值，进行指数幂运算，得到各行所述第二矩阵中各个元素对应的指数幂运算结果；分别确定各行所述指数幂运算结果的累加和，以及基于各行所述第二矩阵中各个元素对应的所述指数幂运算结果，确定所述查询矩阵和所述关键矩阵的内积矩阵；从所述片内内存中读取所述权重矩阵，并计算所述内积矩阵与所述权重矩阵的乘积矩阵；确定所述乘积矩阵分别与各行所述指数幂运算结果的累加和的比值，所述比值为所述查询矩阵、关键矩阵和权重矩阵的运算结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人荣耀终端股份有限公司，其通讯地址为：518040 广东省深圳市福田区香蜜湖街道东海社区红荔西路8089号深业中城6号楼A单元3401；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。