买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉渊慧科技有限公司申请的专利增强基于注意力的神经网络以选择性地关注过去的输入获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114467096B 。

龙图腾网通过国家知识产权局官网在2025-08-22发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202080067175.8，技术领域涉及：G06N3/0464；该发明授权增强基于注意力的神经网络以选择性地关注过去的输入是由杰克·威廉·雷;安娜·波塔片科;蒂莫西·保罗·利利克拉普设计研发完成，并于2020-09-24向国家知识产权局提交的专利申请。

本增强基于注意力的神经网络以选择性地关注过去的输入在说明书摘要公布了：包括在计算机存储介质上编码的计算机程序的方法、系统和装置，用于对作为序列的网络输入执行机器学习任务以生成网络输出。在一个方面，方法中的一个包括，针对层输入的每个特定序列：针于神经网络中的每个注意力层：维护事段记忆数据；维护压缩记忆数据；接收要由注意力层处理的层输入；以及对i该层的压缩记忆数据中的压缩表示、ii该层的事段记忆数据中的隐藏状态，以及iii特定网络输入中的多个输入位置中的每个输入位置处的相应的隐藏状态应用注意力机制，以生成层输入中的每个输入位置的相应的激活。

本发明授权增强基于注意力的神经网络以选择性地关注过去的输入在权利要求书中公布了：1.一种用于使用神经网络处理包括网络输入的序列的输入以生成网络输出的方法，所述网络输入的序列中的每个网络输入在多个输入位置中的每个输入位置处具有相应的输入，所述神经网络具有多个注意力层，每个注意力层各自对层输入应用注意力机制，所述层输入包括在所述多个输入位置中的每个输入位置处的相应的隐藏状态，以针对每个输入位置生成相应的激活，其中，所述层输入包括作为从所述输入导出的整体序列的片段的输入序列，并且其中， 每个输入位置从一种语言的单词导出，并且所述网络输出包括提供单词到另一种语言的翻译的输出序列，以执行神经机器翻译任务，或者 所述输入包括用于执行音频处理任务的音频数据，并且所述网络输出提供所述音频处理任务的结果，以识别音频中的单词或短语、或将所述音频转换为文本、或识别说出口头话语的自然语言，或者 所述输入是自然语言的文本或自然语言中的文本特征，并且所述网络输出定义频谱图、或包括定义以所述自然语言说出的所述文本的音频的其他数据，以执行文本到语音任务，或者 所述输入是条件输入，并且所述网络输出是图像的像素的强度值序列，以执行图像生成，或者 所述输入是观察的序列或表征环境状态的其他数据，并且所述网络输出定义机械智能体响应于所述序列中的最近数据而要执行的动作，以执行智能体控制任务， 所述方法包括，针对所述序列中的每个特定网络输入： 针对所述神经网络中的每个注意力层： 维护对应的事段记忆数据，所述对应的事段记忆数据包括由所述注意力层针对所述序列中的所述特定网络输入之前的第一部分先前网络输入进行了处理的相应的隐藏状态； 维护对应的压缩记忆数据，所述对应的压缩记忆数据包括由所述注意力层针对所述序列中的所述第一部分先前网络输入之前的第二部分先前网络输入进行了处理的相应的隐藏状态的压缩表示； 在使用所述神经网络处理所述特定网络输入期间，接收要由所述注意力层处理的层输入；以及 对i用于所述层的所述压缩记忆数据中的所述压缩表示、ii用于所述层的所述事段记忆数据中的所述隐藏状态、以及iii所述特定网络输入中的所述多个输入位置中的每个输入位置处的相应的隐藏状态应用注意力机制，以生成针对所述层输入中的每个输入位置的相应的激活。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人渊慧科技有限公司，其通讯地址为：英国伦敦；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。