龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：安徽大学;北京航空航天大学
摘要：本发明公开了一种基于任务匹配相似度的预训练模型的压缩方法，包括以下步骤：S1，对模型进行预训练，得到一个经过大量数据训练的预训练神经网络模型；S2，聚合上游任务与下游任务的知识，对上游任务的通用任务知识和下游任务的特定任务知识的特征进行提取；S3，引入可学习的剪枝策略，通过学习提取的特征之间的相关性信息计算统计，保留相关性大于规定阈值的特征所对应的权重值，移除其余权重；S4，得到稀疏的权重矩阵后，对预训练神经网络模型再次训练，恢复模型精度。本发明有效地保留对模型目前任务贡献高的权重信息，使得模型在大幅度减少参数的基础上，能保留较好的性能，可以自适应的根据个性化任务的特定性寻找预训练模型的最优压缩策略。
主权项：1.一种基于任务匹配相似度的预训练模型的压缩方法，其特征在于，包括以下步骤：S1，利用上游任务的通用任务数据对模型进行预训练，得到一个经过大量数据训练的预训练神经网络模型；S2，聚合上游任务与下游任务的知识，对上游任务的通用任务知识和下游任务的特定任务知识的特征进行提取；S3，引入一个可以学习的剪枝策略，通过学习步骤S2提取的通用任务知识特征和特定任务知识特征之间的相关性信息，并对这些信息进行计算统计，保留相关性大于规定阈值的特征所对应的权重值，移除其余权重；S4，得到稀疏的权重矩阵后，对步骤S1建立的剪枝后的预训练神经网络模型再次训练，恢复模型精度。
全文数据：
权利要求：
百度查询： 安徽大学 北京航空航天大学 一种基于任务匹配相似度的预训练模型的压缩方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号