摩尔线程智能科技(北京)股份有限公司请求不公布姓名获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉摩尔线程智能科技(北京)股份有限公司申请的专利神经网络模型的训练方法及装置、电子设备和存储介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN118194954B 。
龙图腾网通过国家知识产权局官网在2025-06-10发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202410381744.6,技术领域涉及:G06N3/082;该发明授权神经网络模型的训练方法及装置、电子设备和存储介质是由请求不公布姓名设计研发完成,并于2024-03-29向国家知识产权局提交的专利申请。
本神经网络模型的训练方法及装置、电子设备和存储介质在说明书摘要公布了:本公开涉及一种神经网络模型的训练方法及装置、电子设备和存储介质,所述方法包括:将获取的待训练的第一神经网络模型中第一网络层,更新为增加了量化模拟结构的第二网络层,得到第二神经网络模型,并根据第二模型优化器,对第二神经网络模型进行训练,得到训练好的第二神经网络模型;其中,第二模型优化器是根据量化模拟结构和初始的第一模型优化器确定的,用于调整至少一个第二网络层权重参数的更新步长,量化模拟结构用于对权重参数执行模拟量化操作,并根据模拟量化操作带来的量化误差,调整模拟量化操作的量化位数。本公开实施例可实现在训练过程中模拟量化操作带来的误差,保持量化后模型精度,降低量化的时间和人力成本。
本发明授权神经网络模型的训练方法及装置、电子设备和存储介质在权利要求书中公布了:1.一种神经网络模型的训练方法,其特征在于,所述方法包括:获取待训练的第一神经网络模型,待训练的第一神经网络模型是用于图像分类、图像分割、语音识别中任一任务的神经网络模型;将所述第一神经网络模型中第一网络层更新为第二网络层,得到第二神经网络模型,所述第二网络层比所述第一网络层增加了量化模拟结构;根据第二模型优化器,对所述第二神经网络模型进行训练,得到训练好的第二神经网络模型;其中,所述第二模型优化器是根据所述量化模拟结构和初始的第一模型优化器确定的,所述第二模型优化器用于调整至少一个所述第二网络层权重参数的更新步长,所述量化模拟结构用于对所述权重参数执行模拟量化操作,并根据所述模拟量化操作带来的量化误差,调整所述模拟量化操作的量化位数;其中,所述量化模拟结构包括第一量化参数、第二量化参数、第一量化算子、第二量化算子,所述量化模拟结构用于:将所述第二网络层的权重参数、所述第一量化参数、所述第二量化参数输入第一量化算子,得到第一量化结果;将所述第一量化结果、所述第一量化参数、所述第二量化参数输入第二量化算子,得到第二量化结果,所述第二量化结果为所述模拟量化操作后的权重参数;其中,所述第一量化参数表征缩放比例,所述第二量化参数表征零点位置;所述第一量化算子用于将所述第二网络层的权重参数与所述第一量化参数商的嵌位操作结果,与所述第二量化参数相加;所述第二量化算子用于将所述第一量化结果与所述第二量化参数的差值,与所述第一量化参数相乘。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人摩尔线程智能科技(北京)股份有限公司,其通讯地址为:100036 北京市海淀区翠微中里14号楼四层B655;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。