北京深势科技有限公司蔡恒兴获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉北京深势科技有限公司申请的专利一种NL2SQL大语言模型的自增强微调方法和装置获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN118797009B 。
龙图腾网通过国家知识产权局官网在2025-10-31发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411009128.4,技术领域涉及:G06F16/3329;该发明授权一种NL2SQL大语言模型的自增强微调方法和装置是由蔡恒兴;高志锋;张林峰;孙伟杰设计研发完成,并于2024-07-26向国家知识产权局提交的专利申请。
本一种NL2SQL大语言模型的自增强微调方法和装置在说明书摘要公布了:本发明实施例涉及一种NL2SQL大语言模型的自增强微调方法和装置,所述方法包括:1确认第一模型、初始化迭代计数器;2初始化种子数据集;3清洗种子数据集;4基于种子数据集微调第一模型;5利用第一模型对种子数据集进行数据增强和低质记录过滤,并合并增强数据集和种子数据集得到新的种子数据集;6迭代计数器超过阈值转至7,未超过则计数器加1后返回3;7对完成迭代微调的第一模型进行参数固化并确认微调训练结束。通过本发明可以缩短训练周期、减少训练成本、提高训练水平。
本发明授权一种NL2SQL大语言模型的自增强微调方法和装置在权利要求书中公布了:1.一种NL2SQL大语言模型的自增强微调方法,其特征在于,所述方法包括: 步骤1,将完成预训练的NL2SQL大语言模型作为对应的第一模型;并初始化迭代计数器为1; 步骤2,基于预设的公开数据集初始化第一种子数据集;所述第一种子数据集包括多个第一种子记录;所述第一种子记录包括第一NL指令、第一SQL指令、第一数据库访问接口和第一查询文本;所述第一NL指令为一个自然语言指令,所述第一SQL指令为一个SQL指令; 步骤3,对所述第一种子数据集进行种子清洗处理; 步骤4,基于所述第一种子数据集对所述第一模型进行一轮微调; 步骤5,在本轮微调结束后,利用所述第一模型对所述第一种子数据集进行数据增强处理得到对应的第一增强数据集;并利用所述第一模型对所述第一增强数据集进行低质记录过滤处理;并对完成过滤的所述第一增强数据集和所述第一种子数据集进行数据集合并处理并将得到的合并数据集作为新的所述第一种子数据集;所述第一增强数据集包括多个第一增强记录;所述第一增强记录包括第二NL指令、第二SQL指令、第二数据库访问接口和第二查询文本; 步骤6,对所述迭代计数器是否超过预设的迭代次数阈值进行识别;若超过,则转至步骤7;若未超过,则对所述迭代计数器加1并返回步骤3; 步骤7,对完成迭代微调的所述第一模型进行参数固化,并确认本次模型微调训练结束; 其中,所述利用所述第一模型对所述第一种子数据集进行数据增强处理得到对应的第一增强数据集,具体包括: 对所述第一种子数据集中所有所述第一种子记录进行遍历;并在遍历时,将当前遍历的所述第一种子记录作为对应的当前种子记录;并将所述当前种子记录的所述第一SQL指令作为对应的当前SQL指令;并基于所述当前SQL指令和所述第一模型创建一个对应的所述第一增强记录;并在遍历结束时,由得到的所有所述第一增强记录组成对应的所述第一增强数据集; 所述基于所述当前SQL指令和所述第一模型创建一个对应的所述第一增强记录,具体包括: 将所述当前SQL指令带入预设的概念分析指令模板对模板中的指令文本X进行替换得到对应的SQL概念分析指令;并将所述SQL概念分析指令输入所述第一模型进行处理,并接收所述第一模型生成的SQL概念分析文本作为对应的当前分析文本;所述概念分析指令模板为一个用于提示所述第一模型对所述指令文本X的SQL概念进行分析的自然语言指令模板;所述指令文本X为一个可替换文本变量; 并将所述当前分析文本带入预设的自然语言描述指令模板对模板中的SQL概念分析文本Y进行替换得到对应的自然语言描述指令;并将所述自然语言描述指令输入所述第一模型进行处理,并接收所述第一模型生成的SQL指令自然语言描述文本作为对应的当前描述文本;所述自然语言描述指令模板为一个用于提示所述第一模型基于所述SQL概念分析文本Y生成对应的SQL指令自然语言描述文本的自然语言指令模板;所述SQL概念分析文本Y为一个可替换文本变量; 并将所述当前描述文本带入预设的NL2SQL指令模板对模板中的自然语言描述文本Z进行替换得到对应的NL2SQL指令;所述NL2SQL指令模板为一个用于提示所述第一模型基于所述自然语言描述文本Z生成一个对应的SQL指令文本的自然语言指令模板;所述自然语言描述文本Z为一个可替换文本变量; 并将所述当前种子记录对应的所述NL2SQL指令作为对应的所述第二NL指令,并将所述当前种子记录的所述第一SQL指令、所述第一数据库访问接口和所述第一查询文本作为对应的所述第二SQL指令、所述第二数据库访问接口和所述第二查询文本;并由所述当前种子记录对应的所述第二NL指令、所述第二SQL指令、所述第二数据库访问接口和所述第二查询文本组成一个对应的所述第一增强记录。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人北京深势科技有限公司,其通讯地址为:100089 北京市海淀区海淀大街3号1幢11层1101;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励