买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：本溪钢铁(集团)信息自动化有限责任公司

摘要：本发明提供一种基于云计算的分布式文件数据处理方法及装置，属于数据处理技术领域，本发明的基于云计算的分布式文件数据处理方法，通过使用分布式存储系统和计算节点，并配置数据挖掘模型和子任务，数据挖掘模型可以自动拆解任务为子任务，并根据依赖关系和规则分配数据块，根据具体需求灵活地调整数据处理流程和挖掘子算法，适应不同的处理任务和复杂的数据类型，可以并行处理大量数据，节省占用的存储空间，提高数据处理的效率和速度，再整合和展示目标数据处理结果，可以直观地呈现数据处理的效果和成果，为用户提供有用的信息。

主权项：1.一种基于云计算的分布式文件数据处理方法，其特征在于，包括：将待处理文件数据上传至分布式存储系统以按照目标规则进行存储，以得到各数据块；所述目标规则是基于文件数据的格式类型以及文件数据的内容标签确定的；通过数据挖掘模型接收目标用户输入的目标数据处理任务，并将所述目标数据处理任务拆解为各个子任务；通过数据挖掘模型为各分布式文件数据处理节点配置各挖掘子算法，并将预处理后的各数据块分配给各分布式文件数据处理节点；各分布式文件数据处理节点所分配的数据块是基于各分布式文件数据处理节点对应的各子任务之间的目标依赖关系以及各子任务对应的文件数据的内容标签确定的；各子任务之间的目标依赖关系用于表示各子任务之间的执行顺序、数据传递过程、资源需求量以及时限逻辑关系中的至少一项；通过各分布式文件数据处理节点基于被配置的各挖掘子算法和各子任务之间的目标依赖关系来对分配的数据块挖掘局部频繁项集，得到各中间数据；通过所述数据挖掘模型将各中间数据进行整合，得到目标数据处理结果以展示给所述目标用户；所述数据挖掘模型包括用户层、运算层和服务层；所述用户层用于接收目标用户输入的数据处理任务并展示目标数据处理结果；所述运算层用于执行所述目标数据处理任务以进行数据处理和数据分析，得到所述目标数据处理结果；所述服务层用于配置各分布式文件数据处理节点，并基于所述目标数据处理任务对各分布式文件数据处理节点配置对应的各挖掘子算法和数据块；所述通过所述数据挖掘模型将各中间数据进行整合，得到目标数据处理结果，包括：将各中间数据进行预处理并提取特征值，以得到中间数据向量的特征值；将中间数据向量的特征值输入至决策树模型中，得到决策树模型输出的分类或预测结果；所述决策树模型是使用SPRINT算法训练得到的；将决策树模型输出的各中间数据对应的分类或预测结果整合，形成最终的目标数据处理结果。

全文数据：

权利要求：

百度查询： 本溪钢铁(集团)信息自动化有限责任公司 基于云计算的分布式文件数据处理方法及装置