恭喜成都艾特能电气科技有限责任公司许轶博获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜成都艾特能电气科技有限责任公司申请的专利一种基于梯度平衡的多类别模型训练方法、介质及设备获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN112633359B 。
龙图腾网通过国家知识产权局官网在2025-05-06发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202011509570.5,技术领域涉及:G06F18/214;该发明授权一种基于梯度平衡的多类别模型训练方法、介质及设备是由许轶博;潘泽文;范宏伟;李佳斌设计研发完成,并于2020-12-18向国家知识产权局提交的专利申请。
本一种基于梯度平衡的多类别模型训练方法、介质及设备在说明书摘要公布了:本发明提供了一种基于梯度平衡的多类别模型训练方法、介质及设备,其中模型训练方法包括通过将训练样本数据输入到选定的神经网络模型进行训练获得损失函数;统计训练模型时损失函数的梯度分布;根据分布结果分配样本权重;权重的平滑处理;权重的衰减处理;获取新梯度更新网络模型;本发明通过在训练的过程中根据输入训练样本数据得到的损失函数梯度的分布,调整样本分配的权重,平衡不同程度难易样本对模型的影响,缩短了模型训练时间同时提升了模型的精度。
本发明授权一种基于梯度平衡的多类别模型训练方法、介质及设备在权利要求书中公布了:1.一种基于梯度平衡的多类别模型训练方法,其特征在于,方法包括如下步骤:S1:获取OpenImage数据集作为训练样本,将训练样本数据输入到选定的神经网络模型进行训练获得损失函数;S2:统计训练模型时损失函数的梯度分布;通过前向传播的方式训练构建好的网络模型,计算损失函数,并对损失函数的梯度进行统计;具体步骤如下:S201:训练数据集输入后计算出损失函数并求导,输入样本导数的绝对值取值范围为[0,U],其中U是样本导数绝对值取值范围的上边界,将导数绝对值取值范围平均分割为m段,即分为的区间段;S202:每一批次输入的训练数据样本会得到对应的导数,对每个类别单独统计导数分布,根据各个区间的导数数量,建立大小为m×n的分布矩阵K进行统计,每输入一匹训练数据样本到模型中,更新分布矩阵K;S3:分配样本权重;根据获得的梯度分布统计结果,对每个样本分配相应的权重,对于类别k,其分布为:a1k,a2k,…,amk其中aik表示类别k导数在第i个区间内的数量;根据类别k的分布计算出类别k在权重矩阵W中的行向量为:[w1k,w2k,…,wmk]其中wik表示所述类别k在对应i的权重,所述wik的计算公式如下:wik=a1k+a2k+…+amkaik×mS4:权重的平滑;对获得的样本对应的权重进行平滑处理,缩小过大的权重;S5:平滑后权重的衰减处理;在训练过程中对平滑项进行衰减,使得训练结束后平滑项衰减到0,平滑项Si的衰减公式为:Si=0.5-0.5×iZ其中Z为模型训练是设定的总训练步数;S6:获取新梯度更新网络模型;将经过平滑和衰减处理的权重矩阵与原损失函数梯度相乘获得新的梯度,并通过反向传播更新网络模型的参数。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人成都艾特能电气科技有限责任公司,其通讯地址为:610000 四川省成都市高新区天辰路88号1栋6层1号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。