买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:东南大学
摘要:本发明公开了基于结构感知及逐步蒸馏的多跳常识生成方法,具体如下:首先通过基于结构感知的编码器,将自然语言形式表述的前提原子集合映射到一个图结构中,使得模型更准确地捕获实例之间的复杂关系。此外,基于逐步蒸馏提取大模型阐述推理依据的能力,通过少样本思维链提示学习的方式,接着,将上述依据作为额外的信息来源,进行小模型的多任务训练。小模型不仅能够综合考虑多个前提原子,生成正确性较高的假设原子,还能够输出有助于其理解多跳常识推导过程的依据,从而提升多跳常识生成效果。最后,通过大语言模型构建了多跳常识数据集,具有较高的整体性能,生成更为复杂且流畅的假设原子,并维持了较高的正确性与多样性。
主权项:1.一种基于结构感知及逐步蒸馏的多跳常识生成方法,其特征在于,所述方法包括如下步骤:1对于给定的前提原子,定义多跳常识生成任务,2对于给定的一组前提原子集合通过基于结构感知的编码器,将自然语言形式表述的前提原子集合映射到一个图结构中,使得模型更准确地捕获实例之间的复杂关系,3基于逐步蒸馏提取大模型阐述推理依据的能力,通过少样本思维链提示学习的方式,从GPT-4中获取从前提原子集合推导得到标准假设原子的依据,4对所述步骤3得到的依据,将该依据作为额外的信息来源,进行小模型的多任务训练,以提升多跳常识生成效果,5利用大语言模型构造符合常识及知识库知识的多跳常识数据集,验证提出模型的效果。
全文数据:
权利要求:
百度查询: 东南大学 一种基于结构感知及逐步蒸馏的多跳常识生成方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。