买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：谷歌有限责任公司

摘要：用于确定神经网络架构的方法、系统和装置，包括在计算机存储介质上编码的计算机程序。方法之一包括使用控制器神经网络生成输出序列批次，该批次中的每个输出序列指定大型神经网络的多个组件的相应子集，该相应子集应在大型神经网络处理输入期间是活动的；对于该批次中的每个输出序列：i根据大型网络参数的当前值并且ii在仅由输出序列指定的组件的子集是活动的情况下，确定大型神经网络在特定神经网络任务上的性能度量；使用该批次中的输出序列的性能度量来调整控制器神经网络的控制器参数的当前值。

主权项：1.一种确定用于执行特定神经网络任务的大型神经网络的架构的方法，其中：所述大型神经网络的输入是图像或已从所述图像中提取的特征，并且所述大型神经网络的输出是对象类别集合中的每个对象类别针对所述图像的得分，每个得分表示所述图像包含属于该对象类别的对象的图像的估计可能性，或者所述大型神经网络的输入是互联网资源、文档或文档的一部分或从所述互联网资源、所述文档或所述文档的一部分中提取的特征，并且所述大型神经网络的输出是主题集合中的每个主题的得分，每个得分表示所述互联网资源、所述文档或所述文档的一部分与该主题有关的估计可能性，其中，所述互联网资源包括网页，或者所述大型神经网络的输入是特定广告的闪现场境的特征，并且所述大型神经网络的输出是表示所述特定广告将被点击的估计可能性的分数，或者所述大型神经网络的输入是针对用户的个性化推荐的特征，并且所述大型神经网络的输出是内容项集合中的每个内容项的得分，每个得分表示所述用户将对被推荐的内容项做出有利响应的估计可能性，其中，针对所述用户的所述个性化推荐的所述特征包括以下中的至少一个：表征推荐的场境的特征以及表征所述用户所采取的先前动作的特征，或者所述大型神经网络的输入是一种语言的文本，并且所述大型神经网络的输出是另一种语言的文本片段集合中的每个文本片段的得分，每个得分表示所述另一种语言的文本片段是所述输入文本到所述另一种语言的正确翻译的估计可能性，或者所述大型神经网络的输入是口语话语的序列，并且所述大型神经网络的输出是文本片段集合中的每个文本片段的得分，每个得分表示所述文本片段是所述口语话语的序列的正确转录的估计可能性，所述方法包括：执行多次迭代，其中，每次迭代包括控制器训练阶段和大型神经网络训练阶段；其中，所述控制器训练阶段包括：使用具有多个控制器参数的控制器神经网络并根据所述控制器参数的当前值生成输出序列批次，所述批次中的每个输出序列指定在所述大型神经网络处理输入期间应是活动的所述大型神经网络的多个组件的相应子集，其中，所述大型神经网络具有多个大型网络参数；对于所述批次中的每个输出序列：i根据所述大型网络参数的当前值，并且ii在仅由该输出序列指定的组件的子集是活动的情况下，确定所述大型神经网络在所述特定神经网络任务上的性能度量；以及使用所述批次中的所述输出序列的所述性能度量来调整所述控制器神经网络的所述控制器参数的所述当前值；其中，所述大型神经网络训练阶段包括：使用所述控制器神经网络并根据所述控制器参数的所调整的值生成新输出序列；以及在训练数据上训练仅由所述新输出序列指定的组件的子集是活动的所述大型神经网络，以确定所述大型网络参数的所调整的值；其中，所述大型网络参数的所调整的值在下次迭代的所述控制器训练阶段被使用。

全文数据：

权利要求：

百度查询： 谷歌有限责任公司 神经架构搜索