买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：浙江大学

摘要：本发明公开了一种可视化数据清洗脚本清洗过程分析系统，包括程序执行器用于检测并保存中间表格信息，以及每个中间表格中的列状态信息；代码解析器用于提取对中间表格进行数据转换操作的表格信息数据的输入表格信息，输出表格信息和函数；数据转换推断器用于确定表格信息数据的数据转换操作类型和参数，最终生成数据转换操作描述信息；清洗布局构造器用于向有向无环图框架中的各个节点匹配中间表格信息得到中间表格有向无环图；图形图符绘制器用于将数据转换操作图形分配到各个节点间形成有向无环图的边，以得到数据清洗过程可视化图。该系统能够展示数据清洗脚本中多表的变化，以及可视化复杂的数据转换操作。

主权项：1.一种可视化数据清洗脚本清洗过程分析系统，其特征在于，包括：程序适配器和可视化生成器，所述程序适配器包括程序执行器，代码解析器和数据转换推断器；其中，所述程序执行器包括程序加工器和程序解释器，所述程序加工器用于标记原始表格数据清洗脚本中的具有中间表格信息的表格信息数据，所述程序解释器用于检测并保存中间表格信息，以及每个中间表格中的列状态信息；所述代码解析器用于基于所述数据清洗脚本中生成所述中间表格信息的源代码，提取对中间表格进行数据转换操作的操作信息，所述操作信息包括所述表格信息数据的输入表格信息，输出表格信息，以及函数，所述函数包括函数名和函数参数；所述数据转换推断器用于基于函数名与数据转换操作类型的对应关系确定表格信息数据的数据转换操作类型集，基于所述输入表格信息和所述输出表格信息从所述数据转换操作类型集中确定所述表格信息数据的最终数据转换操作类型，基于所述函数参数确定所述最终数据转换操作的参数，基于最终数据转换操作的类型和参数生成数据转换操作文本描述，所述最终数据转换操作的类型和参数，以及所述数据转换操作文本描述构建数据转换操作描述信息；通过所述函数执行所述数据转换操作；所述可视化生成器包括清洗布局构造器和图形图符绘制器，其中，所述清洗布局构造器用于采用有向无环图，基于所述数据转换操作描述信息中的中间表格在清洗过程中的因果关系生成有向无环图框架，采用EclipseLayoutKernel布局算法，向所述有向无环图框架中的各个节点匹配中间表格信息得到中间表格有向无环图；所述图形图符绘制器用于基于所述数据转换操作描述信息为所述数据转换操作生成以图形图符形式可视化的数据转换操作图形，基于所述中间表格有向无环图中的各个节点的因果关系，将所述数据转换操作图形分配到各个节点间形成有向无环图的边，以得到数据清洗过程可视化图。

全文数据：

权利要求：

百度查询： 浙江大学 一种可视化数据清洗脚本清洗过程分析系统