买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室)

摘要：本发明公开了一种分布式数据并行在线异步训练中的批大小调整方法，涉及人工智能技术领域，定义分布式数据并行在线异步训练的基本架构，所述基本架构包括参数服务器和多个训练节点，训练节点中批大小调整方法如下：建立以最大化长期平均数据处理量为优化目标的随机优化问题模型；使用李雅普诺夫优化方法对随机优化问题模型的原始优化问题进行求解，将优化问题转换为最小化“漂移加惩罚”函数的问题，得到每个时间片内的优化问题；对每个时间片内的优化问题使用粒子群优化算法求解最优的批大小调整策略；该批大小调整方法在保证系统梯度陈旧性处于一定范围内的前提下，尽可能地训练更多数据，提高模型收敛速度和模型性能。

主权项：1.一种分布式数据并行在线异步训练中的批大小调整方法，其特征在于，定义分布式数据并行在线异步训练的基本架构，所述基本架构包括参数服务器和多个训练节点，训练节点向参数服务器拉取最新的全局模型参数副本并将其作为本地模型，在本地数据集上进行本地模型的训练，将时间划分为以为固定长度的时间片，训练节点中批大小调整方法如下：S1：记个训练节点构成的集合为，训练节点，并定义随机优化问题模型的原始优化问题； 其中，表示时间平均的系统数据处理量，表示系统在时间片内的批大小调整方案，表示第个训练节点在时间片内的批大小，表示训练节点在硬件上所能支持的批大小上限值，表示训练节点时间平均的数据到达量，表示训练节点时间平均的数据处理量，表示时间平均的系统梯度陈旧性，表示预设的系统梯度陈旧性阈值上限；S2：根据原始优化问题中的时间平均约束，构造数据队列和系统梯度陈旧性虚拟队列，并在每个时间片结束时，对和进行更新；S3：使用李雅普诺夫优化方法对随机优化问题模型的原始优化问题进行求解，将原始优化问题转换为最小化“漂移加惩罚”函数的问题，得到每个时间片内的优化问题：“漂移加惩罚”函数为： 将原始的优化问题转换为最小化“漂移加惩罚”函数的问题： 其中，，表示系统的数据队列向量，表示系统梯度陈旧性虚拟队列，表示系统的队列向量，表示一个时间片的李雅普诺夫漂移，时间片内的系统数据处理量是一个随机变量，表示的条件期望；每个时间片内的优化问题如下： 其中，表示虚拟队列的权重，表示李雅普诺夫控制变量，表示训练节点在时间片内的数据处理量，表示第个训练节点在时间片内的数据队列积压量，表示时间片内系统梯度陈旧性虚拟队列的积压量，表示时间片内系统的梯度陈旧性，表示时间片内系统的数据处理量；S4：对每个时间片内的优化问题使用粒子群优化算法求解最优的批大小调整策略。

全文数据：

权利要求：

百度查询： 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种分布式数据并行在线异步训练中的批大小调整方法