买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：江苏金恒信息科技股份有限公司;南京邮电大学

摘要：本发明属于钢铁铁水生产技术领域，公开了一种基于Kafka的钢铁生产数据实时处理方法，所述实时处理方法借助先进的实时数据处理技术即Kafka实时处理，实现钢铁行业数据的发布订阅模式、主题分区、流式计算、消息存储等，并结合数据预处理和改进的聚类分析方法，实现钢铁数据的实时处理和智能分级，有助于提高生产计划的实时动态调整能力，使钢铁系统更具有韧性和应变能力。

主权项：1.一种基于Kafka的钢铁生产数据实时处理方法，其特征在于：所述实时处理方法包括以下步骤：从上游生产系统获取上游数据源，并根据时间戳对所述上游数据源进行归类存档以构建数据中心，归类存档后的上游数据源作为铁水数据源，所述数据中心用于数据查询与处理需要；通过数据源分类接口将铁水数据源分为高炉端数据和转炉端数据，所述高炉端数据为铁水生产的相关信息包括温度、压力、铁水产量，所述转炉端数据为铁水消费的相关信息包括消费铁水的需求、质量、生产的钢种；对分类后的铁水数据源进行预处理，所述预处理包括清理、补缺、标准化处理和降维，所述清理和补缺的步骤为采用线性差值法对铁水数据中的异常值、缺失值进行处理确保数据质量；经过清理和补缺后的铁水数据中选择与生产质量和稳定性密切相关的特征并对所选特征进行标准化处理，保证各个特征具有相同的数值尺度；经过标准化处理后的铁水数据再进行降维处理，所述降维处理是采用多维度特征的自适应权重K-means聚类算法将复杂的生产数据降维为更少的特征；所述基于多维度特征的自适应权重K-means聚类算法是在传统的K-means基础上，引入多维度特征权重，将每一个特征权重考虑在内，在每次迭代中，根据特征权重对数据样本进行聚类分析，并根据数据样本在各个特征上的距离来更新聚类中心，随后根据相似信息形成一簇的原理，按批次预处理将流入Kafka的铁水数据；采用Kafka接收和优化所述预处理后的铁水数据；所述Kafka包括：生产者模块、消费者模块、主题分区模块、Kafka服务器模块和Zookeeper分布式协调服务模块；所述生产者模块用于向Kafka主题发送数据，且所述生产者模块包括用于从各种数据源捕获数据的数据捕获单元；经过上述Kafka接收和优化步骤后形成Kafka初步优化的数据；通过KafkaStream部件对所述Kafka初步优化的数据进行深入分析，并将分析结果反馈到上游生产系统中，上游生产系统可据此做出生产计划调整。

全文数据：

权利要求：

百度查询： 江苏金恒信息科技股份有限公司 南京邮电大学 一种基于Kafka的钢铁生产数据实时处理方法