恭喜齐鲁工业大学(山东省科学院);山东省计算中心(国家超级计算济南中心)陈静获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜齐鲁工业大学(山东省科学院);山东省计算中心(国家超级计算济南中心)申请的专利面向边缘计算的深度神经网络模型块动态优化方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119783744B 。
龙图腾网通过国家知识产权局官网在2025-06-06发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510291378.X,技术领域涉及:G06N3/063;该发明授权面向边缘计算的深度神经网络模型块动态优化方法是由陈静;张天翔;王英龙;季明超;付同林;李胜楠;贝太安设计研发完成,并于2025-03-12向国家知识产权局提交的专利申请。
本面向边缘计算的深度神经网络模型块动态优化方法在说明书摘要公布了:本发明涉及一种面向边缘计算的深度神经网络模型块动态优化方法,属于深度学习技术领域,包括:从深度神经网络模型中提取出不同侧重点的模型块;对模型块进行剪枝,生成后代块;对后代块进行重训练以提高精度,得到带标签的后代块;基于系统当前的资源可用性及延迟要求,将带标签的后代块进行缩放优化;根据任务特点选择后代块组合方式,完成深度神经网络模型的部署。本发明旨在解决深度神经网络模型因结构复杂、计算量大而难以在资源受限的边缘设备上高效部署的问题,通过对深度学习模型的深度剖析和处理,提升模型在不同计算环境下的计算效率与部署灵活性。
本发明授权面向边缘计算的深度神经网络模型块动态优化方法在权利要求书中公布了:1.一种面向边缘计算的深度神经网络模型块动态优化方法,其特征在于,包括如下步骤:S1:从深度神经网络模型中提取出不同侧重点的模型块;S2:对模型块进行剪枝,生成后代块;S3:对后代块进行重训练以提高精度,得到带标签的后代块;S4:基于系统当前的资源可用性及延迟要求,将带标签的后代块进行缩放优化;S5:根据任务特点选择后代块组合方式,完成深度神经网络模型的部署;步骤S1中提取模型块的过程包括:S11:通过计算图分析技术,将神经网络模型表示为有向无环图,其中节点代表计算操作,边代表数据流向,利用反向传播算法计算每个节点对最终分类结果的梯度贡献Gn,根据梯度贡献Gn的大小,将满足GnTg的节点集合组成核心计算模块,其中Tg表示梯度贡献阈值;S12:定义功能相似性度量函数Sfmi,mj和数据关联度函数Sdmi,mj,分别用于衡量核心计算模块中两子模块mi和mj的功能相似度和数据关联紧密程度,设定功能相似度阈值Tf和数据关联紧密程度阈值Td,当Sfmi,mjTf且Sdmi,mjTd时,将mi和mj划分到不同的模型块,其余情况下将mi和mj划分到相同的模型块;S13:构建模型块的公共知识模块和任务特定知识模块,对于公共知识模块的构建,采用主成分分析技术,设模型块的输入矩阵为X1,通过主成分分析算法计算X1的协方差矩阵C: 其中,N表示输入矩阵X1的样本数量;对协方差矩阵C进行特征值分解得到特征值λi和对应的特征向量vi,选择前k个最大特征值对应的特征向量构成投影矩阵P,公共知识模块的输出Z=X1·P,任务特定模块在公共知识模块的输出基础上,通过添加特定任务的神经网络层来构建;S14:设置模型块的选择依据,得到经初步分解和处理的模型块;S15:对步骤S14得到的模型块,基于图卷积网络技术进行模型块的进一步提取,基于聚类分析方法进行模型块的组合,并采用强化学习对组合后的模型块进行优化,得到最终的模型块;步骤S3具体包括:S31:后代块重训练;为每个后代块构建独立的训练环境,在训练过程中,采用随机梯度下降优化算法,假设后代块的参数为θ,损失函数为Lθ,对于一个包含m个训练样本的小批次数据随机梯度下降优化算法在每次迭代时根据以下公式进行更新参数: 其中θt表示第t次迭代时的参数值,η表示学习率,表示损失函数关于参数θ在样本xi,yi上的梯度,通过不断地在训练数据上迭代,逐步调整后代块的参数θ;为了衡量因剪枝造成的精度损失并进行有效补偿,引入准确率指标,设剪枝前模型块在测试集上的准确率为Accuracypre,经过训练后的后代块在相同测试集上的准确率为Accuracypost,通过调整训练过程中的超参数,使得Accuracypre-Accuracypost尽可能小,直至满足预设的精度逼近阈值∈,即当|Accuracypre-Accuracypost|≤∈时迭代停止;S32:后代块的标签建立;①对于运行时内存占用量的确定,假设后代块包含m个参数p1,p2,···,pm,每个参数占用的内存空间为s1,s2,···,sm,则运行时内存占用量Memory通过以下公式计算: ②在准确性分析方面,设后代块在测试数据集上进行推理,其中xi为输入样本,yi为对应的真实标签,经过推理后得到预测标签则准确率Accuracyoriginal通过以下公式计算: 其中,I为指示函数,当括号内条件成立时返回1,否则返回0;针对k种不同的代表性模型稀疏度sparsity1,sparsity2,···,sparsityk,对于每种稀疏度的模型形态,在验证数据集上进行推理,设对应稀疏度下的预测标签为则该稀疏度下的准确率为: 其中nv表示验证集Dv的样本数量;准确性损失均值LossAccuracy通过与原始未剪枝模型在相同验证集上的准确率Accuracyoriginal对比计算; ③在延迟分析方面,设原始块大小为Soriginal,后代块大小为Soffspring,则处理延迟的缩减比例Reductiondelay由以下公式计算: 对后代块构建运行时内存占用量、准确性损失均值和处理延迟的缩减比例的多维度标签。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人齐鲁工业大学(山东省科学院);山东省计算中心(国家超级计算济南中心),其通讯地址为:250353 山东省济南市长清区大学路3501号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。