买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：浙江大学计算机创新技术研究院

摘要：本发明公开了一种基于自然语言的多表格数据查询和分析方法。基于已有的业务数据库和具体的业务场景，收集常见的业务问题；在此基础上分别构建表格抽取数据集、业务知识数据集和查询分析数据集；选择表格抽取模型和查询分析指令生成模型，采用全参数微调的方式进行训练；在生产环境中部署模型，并根据实际功能需求差异，适配开发对应的指令翻译、矫正和执行模块；最后，通过WEB前端页面对模型发送数据查询、分析请求。本发明能够实现使用自然语言在多表格、多字段的复杂业务数仓环境中进行精确的数据提取查询、可视化分析和数据预测，让业务人员能够跨越SQL、Python等结构化数据提取分析语言的使用门槛，进行交互式的数据查询和分析。

主权项：1.一种基于自然语言的多表格数据查询和分析方法，其特征在于，包括以下步骤：步骤一：根据实际业务需求确认对接的数据仓库、数据表格，接着获取不同数据仓库之间的基本区分信息以及不同数据表格之间的基本区分信息，并记为数据来源信息；步骤二：从当前对接的数据仓库中收集用户问题和请求，从而形成种子问题以及业务名词解释；步骤三：基于当前对接的数据仓库、数据表格、数据来源信息、种子问题和业务名词解释，分别构建表格抽取数据集、业务知识数据集和查询分析数据集；步骤四：分别对表格抽取数据集、业务知识数据集、查询分析数据集进行数据增强和数据清洗操作后，分别获得预处理后的表格抽取数据集、业务知识数据集、查询分析数据集；步骤五：使用预处理后的表格抽取数据集训练表格抽取模型，获得训练好的表格抽取模型；以及使用业务知识数据集和查询分析数据集训练查询分析指令生成模型，获得训练好的查询分析指令生成模型；步骤六：将训练好的表格抽取模型和查询分析指令生成模型级联部署后，获得多表格查询指令生成模型；将发送的用户请求文本输入到多表格查询指令生成模型中，获得最终的查询-分析结果；步骤五中的表格选取模型，其模型基座采用RoBERTa-Chinese-WWM，模型训练时采用双塔式结构；每次将[“query”,“right_label”,“false_label”]的三元组样本拆拆分为[“query”,“right_label”],[“query”,“false_label”]两条样本，分别输入到两个基座模型中，对两个模型的输出进行池化（Pooling），计算对比损失（ConstrasiveLoss）；对比损失（ConstrasiveLoss）的定义如下式： 式中：DW代表两对样本（[“query”,“right_label”],[“query”,“false_label”]）的欧式距离；Y表示两个样本是否匹配的标签，对于[“query”,“right_label”]样本，Y=1，对于[“query”,“false_label”]，Y=0；m为设定的超参数阈值；N为样本数量；max表示求最大值函数，表示的是当两个样本的欧式距离超过阈值m时，loss为0，该表达式的内涵是如果两个不相似的样本特征距离很远，其对比损失很低；步骤五中的查询分析指令生成模型，其基底模型为大语言生成模型WizardLM，以查询分析数据集和业务知识数据集和输入训练语料，采用全参数微调的方法对模型进行微调训练。

全文数据：

权利要求：

百度查询： 浙江大学计算机创新技术研究院 一种基于自然语言的多表格数据查询和分析方法