买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：瑞士电信公司

摘要：公开了一种神经架构搜索的计算机实现的方法。实施例可以提供用于执行选定任务的神经网络100。获得计算图200，该计算图包括多个节点、边、以及与上述节点边相关联的权重。计算图200包括计算图200的子图301、302形式的多个候选模型。顺序训练选定的子图，响应于训练更新与每个子图对应的权重。对于子图中与另一子图共享的每个权重，基于与该权重相关联的节点边对另一子图的重要程度的指示控制响应于训练该子图的该权重的更新。

主权项：1.一种提供计算机程序产品的计算机实现的方法，所述计算机程序产品包括图像识别神经网络，所述图像识别神经网络用于处理输入图像数据以提供指示所述输入图像数据的内容的输出，所述方法包括：执行神经架构搜索，所述神经架构搜索包括：i获得计算图，所述计算图包括：通过多条边连接的多个节点、以及用于缩放沿边提供到节点的输入数据的多个权重，其中，每个节点用于：从经由边连接至所述节点的前一节点接收至少一项输入数据；对所述输入数据执行运算以提供输出数据，其中，每项输入数据根据与所述节点和或边关联的权重进行缩放；以及经由边向所述图中的后一节点提供所述输出数据；其中，所述计算图定义第一候选模型和第二候选模型，每个候选模型为所述计算图中的子图，所述子图具有从所述多个节点、所述多条边、以及关联的所述多个权重中选取的节点、边、以及权重，其中，一些选取的节点、边、以及权重在所述第一候选模型和所述第二候选模型间共享；ii基于训练所述第一候选模型处理所述输入图像数据，更新所述第一候选模型的所述权重；iii基于训练所述第二候选模型处理所述输入图像数据，更新所述第二候选模型的所述权重，其中，在训练所述第二候选模型之前，基于所述第一候选模型的训练后的权重初始化所述第二候选模型的所述权重；更新所述第二候选模型的所述权重包括更新在步骤ii中更新的在所述第一候选模型和所述第二候选模型间共享的一些权重，其中，更新共享的所述权重基于与所述权重关联的节点和或边对训练后的所述第一候选模型的重要程度的指示进行控制，重要程度的所述指示使用基于关于所述权重的选择的损失函数的梯度或高阶导数的测量而确定；基于重要程度的所述指示控制共享的所述权重的更新包括基于所述测量的值缩放所述更新的幅度；以及训练所述第二候选模型包括使用训练损失函数进行训练，所述训练损失函数包括指示所述第二候选模型中的权重的所述测量的分量，其中，所述训练损失函数包括用于抑制与所述第二候选模型中的任一所述权重相关联的梯度爆炸的缩放因子；iv识别所述神经网络的优选模型，所述优选模型包括从所述计算图选取的节点、边、以及关联的权重，其中，所述优选模型基于对所述第一训练候选模型和第二训练候选模型的分析确定；提供一个计算机程序产品，所述计算机程序产品包括图像识别神经网络，所述图像识别神经网络用于处理输入图像数据以提供指示所述输入图像数据的内容的输出。

全文数据：

权利要求：

百度查询： 瑞士电信公司 神经架构搜索的系统和方法