电子科技大学胡绍刚获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉电子科技大学申请的专利一种适用于嵌入式设备的脉冲神经网络轻量化方法及系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116151335B 。
龙图腾网通过国家知识产权局官网在2025-09-02发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310273599.5,技术领域涉及:G06N3/049;该发明授权一种适用于嵌入式设备的脉冲神经网络轻量化方法及系统是由胡绍刚;蒙立伟;乔冠超;刘洋设计研发完成,并于2023-03-20向国家知识产权局提交的专利申请。
本一种适用于嵌入式设备的脉冲神经网络轻量化方法及系统在说明书摘要公布了:本发明属于计算机视觉和机器学习技术领域,尤其涉及一种适用于嵌入式设备的脉冲神经网络轻量化方法及系统。本发明的适用于嵌入式设备的脉冲神经网络轻量化方法,通过利用知识蒸馏技术,将一个复杂的人工神经网络学习到的知识迁移到一个混合脉冲神经网络中,实现了脉冲神经网络的小型化轻量化。本发明将蒸馏后的脉冲神经网络模型通过参数聚类和Tensorrt转换,大幅度提高了模型推理速度,实现了脉冲神经网络的高效运行。本发明公开的适用于嵌入式设备的脉冲神经网络轻量化系统,通过将轻量化后的脉冲神经网络部署到嵌入式设备上,实现实时采集图像,实时推理并将推理结果实时通过显示模块进行输出,实现了脉冲神经网络在嵌入式设备上实时运行。
本发明授权一种适用于嵌入式设备的脉冲神经网络轻量化方法及系统在权利要求书中公布了:1.一种适用于嵌入式设备的脉冲神经网络轻量化方法,其特征在于,包括以下步骤: S1、构建教师网络:教师网络以ResNet-34为基本网络结构,输入大小为32*32*3,输入为RGB图像; 构建学生网络:学生网络是以VGG为基本网络结构的脉冲卷积神经网络,沿垂直方向,依次包括第一卷积层、第一批归一化层、第一最大值池化层、第一脉冲神经元层、第二卷积层、第二脉冲神经元层、第三卷积层、第二批归一化层、第二最大值池化层、第三脉冲神经元层、第四卷积层、第四脉冲神经元层、第五卷积层、第三批归一化层、第三最大值池化层、第五脉冲神经元层、第六卷积层、第六脉冲神经元层、第一平均值池化层和第一全连接层;学生网络的全部卷积层均为二维卷积层,其卷积核大小为3*3,步长为1,填充为1;学生网络的最大值池化层和平均值池化层大小为2*2;学生网络的输入为32*32*3的RGB图像输入,输出为脉冲序列输出; S2、利用Cifar-10数据集对教师网络进行训练,得到训练好的教师网络; S3、对学生网络进行参数初始化并利用Cifar-10数据集进行10轮的预训练; S4、利用Cifar-10数据集和训练好的教师网络模型对学生网络进行调整训练,所述调整训练是利用教师网络中学习到的知识指导学生网络训练过程,具体为: 定义调整训练过程中学生网络的蒸馏损失函数为: L=αLS+βLH 其中,α和β为调整训练过程中设定的训练超参数,LS和LH分别为分别为软标签分类损失和硬标签分类损失; 所述的软标签分类损失为: 其中,N为样本的总个数,T为调整训练的超参数,定义为蒸馏温度;表示第j个样本,在T的蒸馏温度下,教师网络的输出;表示第j个样本,在T的蒸馏温度下,学生网络的输出; 所述的硬标签分类损失为: 其中,cj表示第j个样本的真实标签;在硬标签损失计算时,蒸馏温度T等于1; 调整训练过程中,输入同一个样本,学生网络和教师网络分别获得一个输出,而损失的计算方式取决于两者之间的差异,学生网络根据学生网络的蒸馏损失去更新学生网络的权重; S5、冻结调整训练后得到的学生网络模型的参数,对每一层的模型参数进行聚类,每一层的参数以8个聚类中心表示,获得聚类模型; S6、将聚类模型转换为Tensorrt模型,转换后获得用于直接在嵌入式设备中部署的轻量化模型。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人电子科技大学,其通讯地址为:611731 四川省成都市高新西区西源大道2006号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。