买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉华南理工大学;湖南大学深圳研究院申请的专利高效稀疏注意力算法优化方法、装置、设备及介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119476360B 。

龙图腾网通过国家知识产权局官网在2025-10-31发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411402325.2，技术领域涉及：G06N3/045；该发明授权高效稀疏注意力算法优化方法、装置、设备及介质是由庄晓斌;陈岑;庄辉平;刘刚;邹骁锋;曾子倩设计研发完成，并于2024-10-09向国家知识产权局提交的专利申请。

本高效稀疏注意力算法优化方法、装置、设备及介质在说明书摘要公布了：本申请涉及一种高效稀疏注意力算法优化方法、装置、设备及介质，其中，方法包括：获取待处理数据，并对待处理数据进行基于重要度感知的layernorm计算，得到归一化数据；对归一化数据进行行向积稀疏矩阵乘法与分组哈希多头注意力处理，得到注意力分数矩阵；根据注意力分数矩阵进行基于移位操作的softmax计算，得到softmax计算结果；对softmax计算结果和注意力矩阵中值向量进行行向积稀疏矩阵乘法，得到注意力计算结果。整个过程中，通过改进的layernorm、softmax、以及矩阵乘法对稀疏注意力算法进行优化，减少注意力算法处理过程中的数据量，能够显著提升注意力算法效率。

本发明授权高效稀疏注意力算法优化方法、装置、设备及介质在权利要求书中公布了：1.一种高效稀疏注意力算法优化方法，其特征在于，所述方法包括： 获取待处理文本数据，并对所述待处理文本数据进行基于重要度感知的layernorm计算，得到归一化数据； 对所述归一化数据进行行向积稀疏矩阵乘法与分组哈希多头注意力处理，得到注意力分数矩阵； 根据所述注意力分数矩阵进行基于移位操作的softmax计算，得到softmax计算结果； 对所述softmax计算结果和注意力矩阵中值向量进行行向积稀疏矩阵乘法，得到注意力计算结果； 所述对所述归一化数据进行行向积稀疏矩阵乘法与分组哈希多头注意力处理，得到注意力分数矩阵包括：对所述归一化数据应用线性变换，得到查询向量、键向量和值向量；对所述查询向量、键向量和值向量进行CSR压缩；根据所述查询向量和所述键向量，计算查询和键的点积矩阵；对所述点积矩阵进行哈希分组，对每个哈希组内的查询向量和键向量进行行向积稀疏矩阵乘法，累加得到输出矩阵的一行；输出重排所述输出矩阵的每一行，得到注意力分数矩阵； 所述根据所述注意力分数矩阵进行基于移位操作的softmax计算，得到softmax计算结果包括：将所述注意力分数矩阵分为若干组；在每组内查找最大值，并获取预设第二阈值，所述预设第二阈值基于组内所有数据对应的整体张量确定；计算组内每个元素与组内最大值的差值，若所述差值大于所述预设第二阈值，则将对应的元素置零；计算以2为指数底数的所述差值次幂，得到中间结果；基于不同组内最大值，查找所有元素中的最大值；通过所述所有元素中的最大值补偿所述中间结果，通过移位操作完成softmax计算，得到softmax计算结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人华南理工大学;湖南大学深圳研究院，其通讯地址为：510000 广东省广州市天河区五山路；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。