买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:南京大学
摘要:本申请公开了一种稀疏神经网络的矢量近似更新方法及应用,方法包括获取神经网络中待更新的权重参数的精确梯度参数,得到精确梯度信息;为矩阵结构中同行的多个权重参数以及同列的多个权重参数构建相同的更新脉冲;构建操作矩阵变量;基于操作矩阵变量构建梯度矩阵变量;以精确梯度矩阵为梯度矩阵变量的目标,拟合求解操作矩阵变量,得到最优操作矩阵;基于所述最优操作矩阵,更新所述权重矩阵的权重参数。本申请的矢量近似更新方法全程无需对稀疏信息进行外部索引,大大降低了稀疏训练过程中的时间开销和能耗开销;在稀疏神经网络更新过程中具有媲美传统的逐个单元更新的精确更新算法的更新精度和训练效果。
主权项:1.一种稀疏神经网络的矢量近似更新方法,其特征在于,包括:获取神经网络中待更新的权重参数的精确梯度参数,得到精确梯度信息;基于所述精确梯度信息,获取权重矩阵的矩阵结构,并为所述矩阵结构中同行的多个权重参数以及同列的多个权重参数构建相同的更新脉冲,得到多个行向量和多个列向量;基于所述多个行向量和多个列向量,构建操作矩阵变量;基于所述操作矩阵变量,构建梯度矩阵变量,所述梯度矩阵变量中的每一梯度参数对应所述权重矩阵中的一个权重参数;以精确梯度矩阵为所述梯度矩阵变量的目标,拟合求解所述操作矩阵变量,得到最优操作矩阵;基于所述最优操作矩阵,更新所述权重矩阵的权重参数。
全文数据:
权利要求:
百度查询: 南京大学 稀疏神经网络的矢量近似更新方法及应用
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。