买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中卫信软件股份有限公司

摘要：本发明公开了基于预防接种平台的多任务流水线式数据清洗系统及方法，多任务流水线式数据清洗系统包括：配置模块、插件模块、初始化模块、调度模块和存储与推送模块。配置模块基于预设的数据结转配置文件或者数据推送配置文件对插件模块进行配置操作，并得到配置过的插件模块；初始化模块对配置过的插件模块进行初始化操作，并得到初始化过的插件模块；调度模块基于预设的结转任务调度参数或者推送任务调度参数调用初始化过的插件模块对目标数据源进行数据清洗操作，并得到清洗后的数据；存储与推送模块对清洗后的数据进行存储或者推送操作。本方案采用基于多任务流水线式的数据清洗插件，能够高效、稳定地处理大量数据，并具备可扩展性。

主权项：1.基于预防接种平台的多任务流水线式数据清洗系统，其特征在于，包括：配置模块、插件模块、初始化模块、调度模块和存储与推送模块；所述配置模块基于预设的数据结转配置文件或者数据推送配置文件对所述插件模块进行配置操作，并得到配置过的插件模块；所述初始化模块对所述配置过的插件模块进行初始化操作，并得到初始化过的插件模块；所述调度模块基于预设的结转任务调度参数或者推送任务调度参数调用所述初始化过的插件模块对目标数据源进行数据清洗操作，并得到清洗后的数据；所述存储与推送模块对所述清洗后的数据进行存储或者推送操作；所述插件模块包括：若干任务管理器模块、若干任务模块、若干步骤流水线模块、若干步骤模块、若干任务管理器上下文模块和若干任务上下文模块；所述任务管理器模块：为若干所述任务模块组成的集合；所述任务管理器模块管理当前所述任务管理器模块内的所述若干任务模块的任务注册、任务调度模式和任务执行；所述任务模块：为若干所述步骤流水线模块组成的集合；所述任务模块内的所述若干步骤流水线模块之间没有关系、相对独立；所述步骤流水线模块：为若干所述步骤模块组成的集合；所述步骤流水线模块内的所述若干步骤模块之间具有上下级关系，且上级的所述步骤模块的输出数据类型跟下级的所述步骤模块的输入数据类型一致；所述步骤模块：为所述插件模块中最小的执行单元；所述步骤模块包括：数据输入模块、处理操作模块和数据输出模块；所述数据输入模块的输入值为上级所述步骤模块中所述数据输出模块的输出值，所述处理操作模块用于当前所述步骤模块中进行数据处理操作，所述数据输出模块的输出值为下级所述步骤模块中所述数据输入模块的输入值；所述任务管理器上下文模块：用于同一个所述任务管理器模块中所述若干任务之间数据和参数的交互；所述任务上下文模块：用于同一个所述任务模块中所述若干步骤流水线模块和所述若干步骤模块之间数据和参数的交互；所述任务调度模式包括：串行模式和并行模式；所述串行模式为按顺序执行所述任务管理器模块中的若干所述任务模块；所述并行模式为开线程并行执行所述任务管理器中的若干所述任务模块；所述配置模块基于预设的数据结转配置文件或者数据推送配置文件对所述插件模块进行配置操作的具体过程包括：配置当前所述任务管理器模块内的若干所述任务模块的名称和所述任务调度模式；配置当前所述任务模块内的若干所述步骤流水线模块的名称；配置当前所述步骤流水线模块内的若干所述步骤模块的数量和执行命令；在所述串行模式下：当前所述步骤流水线模块内的第一个所述步骤模块：用于从数据源中读取文件；当前所述步骤流水线模块内的最后一个所述步骤模块：用于从将最终处理结果传输给数据库或者第三方；当前所述步骤流水线模块内中间的若干所述步骤模块：每一个所述步骤模块接收前一个所述步骤模块输出的数据，并对所述数据进行处理后，将处理结果传输给下一个所述步骤模块；在所述并行模式下：当前所述步骤流水线模块内的第一个所述步骤模块：用于从所述数据源中读取文件；当前所述步骤流水线模块内的最后一个所述步骤模块：用于从将所述最终处理结果传输给所述数据库或者第三方；当前所述步骤流水线模块内除最后一个所述步骤模块之外的其他若干所述步骤模块：每个所述步骤模块包含若干子步骤模块；同一个所述步骤模块下的若干所述子步骤模块同时执行各自的操作；每个所述子步骤模块接收前一个所述步骤模块或所述子步骤模块输出的数据，并对所述数据进行处理后，将处理结果传输给下一个所述子步骤模块。

全文数据：

权利要求：

百度查询： 中卫信软件股份有限公司 基于预防接种平台的多任务流水线式数据清洗系统及方法