买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉谷歌有限责任公司申请的专利稀疏注意力神经网络获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114492759B 。

龙图腾网通过国家知识产权局官网在2025-09-26发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210116524.1，技术领域涉及：G06N3/0495；该发明授权稀疏注意力神经网络是由阿坎克沙·乔杜里;阿夫罗兹·莫希丁;亨里克·米查列夫斯基;约尼·米卡·卡内尔瓦;卢卡斯·米奇斯瓦夫·凯泽;塞巴斯蒂安·达留什·雅什丘尔;沃伊切赫·加耶夫斯基设计研发完成，并于2022-02-07向国家知识产权局提交的专利申请。

本稀疏注意力神经网络在说明书摘要公布了：本公开涉及稀疏注意力神经网络的方法、系统和装置，其包括在计算机存储介质上编码的计算机程序，用于对网络输入执行机器学习任务以生成网络输出。在一个方面中，这些系统之一包括被配置成执行机器学习任务的神经网络，该神经网络包括一个或多个稀疏注意力层。

本发明授权稀疏注意力神经网络在权利要求书中公布了：1.一种用于对网络输入执行机器学习任务以生成网络输出的系统，所述系统包括一个或多个计算机和存储指令的一个或多个存储设备，所述指令当由所述一个或多个计算机执行时，使所述一个或多个计算机实现注意力神经网络，其中： 所述机器学习任务是神经机器翻译任务，所述网络输入包括文本序列，并且所述网络输出包括所述文本序列变成另一语言的翻译，或者 所述机器学习任务是音频处理任务，所述网络输入包括表示口语话语的序列，并且所述网络输出包括对一组文本段中的每个文本段的分数，每个分数表示该文本段是针对所述话语的正确转录的估计可能性，或者所述网络输出指示所述话语中是否讲出了特定单词或短语，或者所述网络输出标识讲出所述话语所用的自然语言，或者 所述机器学习任务是对某些自然语言的文本序列进行操作的自然语言处理或理解任务，或者 所述机器学习任务是文本至语音任务，所述网络输入包括自然语言的文本或自然语言的文本的特征，并且所述网络输出包括频谱图、波形、或定义用自然语言讲出的文本的音频的其他数据，或者 所述机器学习任务是健康状态预测任务，所述网络输入包括根据患者的电子健康状态记录数据导出的序列，并且所述网络输出是与所述患者的将来健康状态相关的预测，或者 所述机器学习任务是文本生成任务，所述网络输入包括文本序列，并且所述网络输出是另一文本序列，或者所述网络输入包括除文本以外的输入，并且所述网络输出是描述所述网络输入的文本序列，或者 所述机器学习任务包括图像生成任务，所述网络输入包括条件输入，并且所述网络输出包括图像的像素的强度值的序列，或者 所述机器学习任务是代理控制任务，所述网络输入包括表征环境的状态的观察结果或其他数据的序列，并且所述网络输出定义要由所述代理响应于所述观察结果的序列中的最近数据而执行的动作，其中，所述代理是真实世界或模拟机器人、用于工业设施的控制系统、或控制不同种类的代理的控制系统，或者 所述机器学习任务是基因组学任务，所述网络输入包括表示DNA序列或其他分子序列的片段的序列，并且所述网络输出是用于在下游任务中使用的所述片段的嵌入，或所述下游任务的输出， 所述注意力神经网络被配置成执行所述机器学习任务，所述注意力神经网络包括多个注意力层，每个注意力层包括注意力子层和前馈子层，所述注意力层被配置成： 获得所述注意力层的输入序列，所述输入序列包括一个或多个位置中的每一个位置处的相应层输入；并且 至少部分地通过对所述注意力层的所述输入序列应用一个或多个注意力机制来生成受注意输入序列，所述受注意输入序列包括所述一个或多个位置中的每一个位置处的相应受注意层输入，并且所述前馈子层被配置成： 接收所述受注意输入序列；并且 从至少所述受注意输入序列生成所述注意力层的输出序列，所述输出序列包括所述一个或多个位置中的每一个位置处的相应层输出，并且所述生成包括，对于所述一个或多个位置中的每一个位置： 获得所述位置处的受注意层输入； 基于所述受注意层输入来选择被约束成具有零值的元素的真子集为中间输出，其中，所述受注意层输入的不在所述真子集中的其他元素未被约束成具有零值； 在将所述真子集中的所述元素约束成具有零值的同时通过前馈神经网络层来处理所述受注意层输入以生成所述中间输出； 对所述中间输出应用线性变换以生成变换输出；以及 从所述变换输出生成所述位置处的层输出。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人谷歌有限责任公司，其通讯地址为：美国加利福尼亚州；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。