广东工业大学周郭许获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉广东工业大学申请的专利深度学习模型参数自适应裁剪方法、装置、设备及介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116976422B 。
龙图腾网通过国家知识产权局官网在2026-04-17发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202311096905.9,技术领域涉及:G06N3/082;该发明授权深度学习模型参数自适应裁剪方法、装置、设备及介质是由周郭许;黄镇浩;邱育宁;谢胜利设计研发完成,并于2023-08-28向国家知识产权局提交的专利申请。
本深度学习模型参数自适应裁剪方法、装置、设备及介质在说明书摘要公布了:本申请涉及一种深度学习模型参数自适应裁剪方法、装置、设备及介质,所述方法包括:获取预设的深度学习模型的训练集,根据训练集对深度学习模型进行预训练,确定深度学习模型中每一层的参数;基于统一张量网络模型捕获深度学习模型中每一层参数的低秩结构,将参数分解成多个环因子张量以及一个核心因子张量;基于稀疏贝叶斯学习算法根据环因子张量、核心因子张量相对应的高斯分布的先验分布结果以及噪声水平相对应的Gamma分布的先验分布结果构建参数自适应裁剪模型;基于达到收敛状态的参数自适应裁剪模型对参数的无关成分进行裁剪,以确定参数相对应的压缩参数。本申请能够使深度学习模型保持低参数量的同时,仍能保持高精度。
本发明授权深度学习模型参数自适应裁剪方法、装置、设备及介质在权利要求书中公布了:1.一种深度学习模型参数自适应裁剪方法,其特征在于,包括如下步骤: 获取预设的深度学习模型的训练集,根据所述训练集对所述深度学习模型进行预训练,确定所述深度学习模型中每一层的参数;其中,所述训练集表征图像数据或高光谱数据,所述深度学习模型包括图像分类模型或目标检测模型; 基于统一张量网络模型捕获所述深度学习模型中每一层参数的低秩结构,将所述参数分解成多个环因子张量以及一个核心因子张量; 基于稀疏贝叶斯学习算法将所述环因子张量以及核心因子张量中的每个元素进行高斯分布的先验分布,确定所述环因子张量以及核心因子张量相对应的高斯分布的先验分布结果,并将所述深度学习模型中的噪声水平进行Gamma分布的先验分布,确定所述噪声水平相对应的Gamma分布的先验分布结果,根据所述环因子张量、核心因子张量相对应的高斯分布的先验分布结果以及所述噪声水平相对应的Gamma分布的先验分布结果构建参数自适应裁剪模型,其中,所述环因子张量是统一张量网络模型中与核心因子张量配合、通过两两连接及特定维度索引关联,用于捕获深度学习模型参数低秩结构的阶张量; 对于所述核心因子张量,对其相对应的每个元素进行高斯分布的先验分布,确定所述核心因子张量相对应的高斯分布的先验分布结果,所述核心因子张量相对应的高斯先验分布表示为: ,其表示核心因子张量的每个元素符合一个均值为0、方差为的高斯分布,由于核心因子张量的先验分布均值为0,当最大化后验概率时,核心因子张量的每个元素也会趋近于0,因而获得核心因子张量的稀疏表示,表示核心因子张量的向量化操作,是一个尺度参数;表示分别控制第1到第个环因子张量与核心因子张量之间连接稀疏性的超参数;表示分别由超参数构成的对角协方差矩阵,表示克罗内克积; 确定所述参数的最小化问题,基于交替方向乘子算法对所述最小化问题进行迭代,直至所述参数自适应裁剪模型达到收敛状态,基于达到收敛状态的所述参数自适应裁剪模型对所述参数的无关成分进行裁剪,以确定所述参数相对应的压缩参数,完成所述深度学习模型参数的自适应裁剪。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人广东工业大学,其通讯地址为:510000 广东省广州市越秀区东风东路729号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励