买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京珊瑚礁科技有限公司

摘要：本发明涉及电磁大数据处理技术领域，尤其涉及一种分布式电磁大数据处理系统及方法，该电磁大数据处理系统能够从分布式数据源采集原始电磁数据，经过时序存储、流批一体式处理、数据挖掘等多个模块，实现对于原始电磁数据的实时分析；通过结合电磁大数据本身的特点和用户的业务特点，围绕流批一体计算模式，采用更为轻量且可伸缩的数据采集和存储方式，优化整体架构，合并功能类似的组件，去除冗余组件，以降低系统的部署、维护和操作难度；将流批一体技术和时序数据库融合使用，在保证海量数据能够实时处理和深度分析的同时，又能大幅降低系统的复杂度和对存储的要求，既能作为集群部署处理海量数据，又能够实现独立部署。

主权项：1.一种分布式电磁大数据处理系统，其特征在于，该电磁大数据处理系统包括分布式采集模块、时序数据存储模块、流批一体计算模块、智能数据挖掘模块以及综合监控模块，其中：所述分布式采集模块，用于从多个前置数据采集点采集原始电磁数据，并将原始电磁数据发送至时序数据存储模块和或流批一体计算模块中；所述时序数据存储模块，用于接收和存储分布式采集模块发送的原始电磁数据，将接收到的原始电磁数据发送至流批一体计算模块中进行处理，并接收和存储流批一体计算模块发送的处理结果，以及将接收到的处理结果发送至智能数据挖掘模块中进行挖掘分析；所述流批一体计算模块，用于采用流处理方式或批处理方式，接收和处理分布式采集模块发送的原始电磁数据或时序数据存储模块发送的原始电磁数据，生成处理结果，并将处理结果发送至时序数据存储模块中；所述智能数据挖掘模块，用于接收时序数据存储模块发送的处理结果，并对接收到的处理结果进行挖掘分析，生成挖掘分析结果；所述综合监控模块，用于对原始电磁数据的相关信息以及电磁大数据处理系统的相关信息进行监控，生成监控信息；所述分布式采集模块，还用于根据预设数据发送规则将原始电磁数据发送至时序数据存储模块和或流批一体计算模块中；所述预设数据发送规则基于当前业务场景信息确定；所述时序数据存储模块，还用于通过预设的数据插入接口，将分布式采集模块发送的原始电磁数据按照预设表结构中的多个字段信息进行存储；所述字段信息包括与原始电磁数据对应的时间戳、参数信息、空间信息以及属性信息；流批一体计算模块基于Flink，对分布式采集模块发送的原始电磁数据或时序数据存储模块发送的原始电磁数据进行处理，处理过程包括：步骤1：定义数据流，使用Flink提供的API，定义输入数据流和输出数据流；步骤2：设置数据分区和并行度，根据原始电磁数据的特点和处理需求，设置相匹配的数据分区和并行度，其中，使用Flink的keyBy方法对原始电磁数据进行数据区分；步骤3：使用Flink的算子和函数，运行数据处理逻辑；步骤1中，定义数据流，使用Flink提供的API，定义输入数据流和输出数据流，包括：使用Flink的API，根据原始电磁数据的特点，定义数据模型和数据处理逻辑，采用ElectromagneticWaveData类对原始电磁数据的数据模型进行定义，通过定义ElectromagneticWaveData类，将原始电磁数据的不同属性封装在一个对象中，形成ElectromagneticWaveData对象；数据模型的定义过程，包括：创建一个用于表示原始电磁数据的ElectromagneticWaveData类，在ElectromagneticWaveData类中，定义sensorId属性、amplitude属性、timestamp属性、getSensorId方法、getAmplitude方法、getTimestamp方法和toString方法，sensorId属性用于表示传感器的唯一标识符，amplitude属性用于表示电磁波的振幅，timestamp属性用于表示数据记录的时间戳，getSensorId方法用于获取传感器ID，getAmplitude方法用于获取电磁波的振幅，getTimestamp方法用于获取数据记录的时间戳，toString方法用于将ElectromagneticWaveData对象转换为字符串格式；步骤3中，数据处理逻辑的过程，包括；步骤301，数据分组，使用Flink的keyBy函数，将ElectromagneticWaveData对象的sensorId属性作为键进行分组；步骤302，窗口操作，使用Flink的window函数，定义一个时间窗口，用于对时间窗口内的原始电磁数据进行数据计算；步骤303，数据聚合，使用Flink的aggregate函数，对每个时间窗口内的原始电磁数据进行聚合，计算出每分钟的平均振幅；数据聚合的过程包括：创建一个聚合函数，利用该聚合函数接收一个ElectromagneticWaveData对象，返回一个新的ElectromagneticWaveData对象，该新的ElectromagneticWaveData对象的振幅为时间窗口内所有原始电磁数据的平均振幅；步骤304，数据过滤，使用Flink的filter函数，根据过滤需求对原始电磁数据进行过滤；数据过滤的过程包括：创建一个过滤函数，利用该过滤函数接收一个ElectromagneticWaveData对象，若该ElectromagneticWaveData对象的振幅特征超过阈值，则返回true，否则返回false；所述采用流处理方式或批处理方式，接收和处理分布式采集模块发送的原始电磁数据或时序数据存储模块发送的原始电磁数据，生成处理结果，具体包括：流批一体计算模块采用流处理方式或批处理方式，对分布式采集模块发送的原始电磁数据或时序数据存储模块发送的原始电磁数据进行分组处理，生成多个分组数据；针对各分组数据，对预设时间窗口内的分组数据进行聚合和过滤处理，生成中间数据；对中间数据进行时频转换处理，生成处理结果，所述处理结果为频域分析结果。

全文数据：

权利要求：

百度查询： 北京珊瑚礁科技有限公司 一种分布式电磁大数据处理系统及方法