北方工业大学刘杰获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉北方工业大学申请的专利一种跨任务协作思维链蒸馏方法和装置、系统、存储介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119623654B 。
龙图腾网通过国家知识产权局官网在2025-08-15发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411676515.3,技术领域涉及:G06N5/045;该发明授权一种跨任务协作思维链蒸馏方法和装置、系统、存储介质是由刘杰;张晴;聂凯峰;宋林琦;李垠桥设计研发完成,并于2024-11-22向国家知识产权局提交的专利申请。
本一种跨任务协作思维链蒸馏方法和装置、系统、存储介质在说明书摘要公布了:本发明公开一种跨任务协作思维链蒸馏方法和装置、系统、存储介质,包括:步骤S1、生成推理任务数据集的思维链;步骤S2、根据思维链对接受训练的任务进行难度排序;步骤S3、根据思维链和任务难度对学生模型进行正交分组训练;步骤S4、根据LoRA专家组合进行跨任务协作思维链蒸馏。采用本发明的技术方案,通过隐式的隔离不相关任务之间的参数防止发生负向迁移,进一步增加了小模型的推理能力。
本发明授权一种跨任务协作思维链蒸馏方法和装置、系统、存储介质在权利要求书中公布了:1.一种跨任务协作思维链蒸馏方法,其特征在于,包括: 步骤S1、生成推理任务数据集的思维链; 步骤S2、根据思维链对接受训练的任务进行难度排序; 步骤S3、根据思维链和任务难度对学生模型进行正交分组训练; 步骤S4、根据LoRA专家组合进行跨任务协作思维链蒸馏; 每个推理任务都包含复杂的推理问题和正确答案其中,t≤m;使用Zero-shot-CoT即在推理问题后追加Let’sthinkstepbystep.引导具有CoT能力的LLM来解决问题其中,i≤n,生成多阶段解释并预测结果根据正确答案和预测结果选择正确的多阶段解释使用形成一个样本 步骤S3的训练的方式为LoRA微调,LoRA微调策略包含相似性检测和分组正交正则化;其中,相似性检测用于在训练当前任务之前,检测经训练的任务中是否有与当前任务相似的任务;在不相似的任务的LoRA专家之间添加分组正交正则化约束当前任务按着与不相似任务梯度正交的方向更新参数。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人北方工业大学,其通讯地址为:100144 北京市石景山区晋元庄路5号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。