买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明公开了一种小样本在线训练方法、装置及储存介质，属于计算、推算或计数技术领域。所述方法包括：通过数据集对神经网络进行训练，获得权重参数，将权重参数作为预训练模型的原训练参数；采集规定预设量的样本并标记；将标记的样本和原训练参数输入至预训练模型进行训练，以更新原训练参数。通过采用预训练模型对原训练参数进行训练更新，解决了现有技术中优化算法受限于存储、功耗和计算能力的影响，难以搭载到移动设备和嵌入式平台上使用，且少量的样本易导致过拟合的情况，同时，在对新样本进行在线训练的过程中，会造成对旧样本的灾难性遗忘的技术问题。

主权项：1.一种小样本在线训练方法，其特征在于，包括如下步骤：通过使用CIFAR100数据集对VGG16神经网络进行训练，获得权重参数，将权重参数作为预训练模型的原训练参数；采集规定预设量的样本并标记；将标记的样本和原训练参数输入至预训练模型进行训练，以更新原训练参数；所述预训练模型基于在线训练神经网络得到，所述在线训练神经网络包括卷积层、区间批量归一化模块、RELU激活函数、块浮点量化模块、最大池化层、全连接层、Softmax分类器以及随机权重平均模块；将标记的样本和原训练参数中的卷积层训练参数输入所述卷积层进行卷积计算，得到输出特征图，并将输出特征图输入所述区间批量归一化模块；所述区间批量归一化模块对输出特征图进行批量归一化，并将批量归一化结果输入所述RELU激活函数；所述RELU激活函数对批量归一化结果进行激活，并将激活后的结果输入所述块浮点量化模块；所述块浮点量化模块对激活后的结果进行低精度量化，并将低精度量化后的结果输入所述最大池化层；其中，对激活后的结果进行低精度量化的计算公式如下： ； ；其中：p为激活后的结果，为量化间隙，k为低精度量化后的位数，为低精度量化后的结果，round为随机舍入函数，clip为截断函数；将由低精度量化后的数据组成的矩阵记为T，即块浮点量化模块的输出结果；所述最大池化层将低精度量化后的结果进行最大池化得到低精度前向特征图，并将低精度前向特征图输入所述全连接层；所述全连接层对低精度前向特征图进行计算，得到输出向量，并将输出向量输入Softmax分类器；所述Softmax分类器对输出向量进行计算，得到预测结果；将预测结果与标记的样本进行误差计算，得到对应误差；将对应误差反向输入预训练模型中，得到全连接层与卷积层的相对误差；将全连接层的相对误差和卷积层的相对误差分别与低精度前向特征图和输出特征进行卷积计算得到权重梯度，通过权重梯度对原训练参数进行迭代计算，得到新训练参数，并将新训练参数输入随机权重平均模块；所述随机权重平均模块对新训练参数和原训练参数进行滑动平均计算得到最终训练参数；计算最终训练参数的损失，并对损失进行判断。

全文数据：

权利要求：

百度查询： 昆山市工业技术研究院有限责任公司 一种小样本在线训练方法、装置及储存介质