买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明提供了一种基于分布式架构的海量地震观测数据噪声功率谱计算方法及系统。该方法包括：基于RestFul接口或者通过命令行Sparksubmit方式提交目标时空范围的海量波形数据噪声功率谱计算任务到分布式集群，创建弹性分布式数据集RDD后将计算任务自动分配到计算节点，解析存储在分布式存储HDFS文件系统中的测震波形数据，以节点为单位调用噪声功率谱方法开展计算任务，计算结果采用设计的RowKey放入分布式数据库HBASE。本发明提供的基于分布式架构的海量地震观测数据噪声功率谱计算方法及系统能够解决采用单个节点进行海量的噪声功率谱计算所造成的计算效率低，同时基于HBase的计算结果存储和读取分析进一步提升了开展海量地震数据长周期噪声功率谱变化分析的能力。

主权项：1.一种基于分布式架构的海量地震观测数据噪声功率谱计算方法，其特征在于，包括：基于RestFul接口或者通过命令行Sparksubmit方式提交目标时空范围的海量波形数据噪声功率谱计算任务到分布式集群，创建弹性分布式数据集RDD后将计算任务自动分配到计算节点，解析存储在分布式存储HDFS文件系统中的测震波形数据，以节点为单位调用噪声功率谱方法开展计算任务，计算结果采用设计的RowKey放入分布式数据库HBASE；具体包括：Spark的主节点在接收到前台传递需要处理计算的参数后分配处理任务所需的资源后，创建弹性分布式数据集RDD将任务分发到各个计算节点，由各个节点完成计算过程并将结果反馈给主节点；各个工作节点的处理过程包括：数据预处理操作及数据计算操作；所述数据预处理操作包括：将给定范围的原始数据按毫秒数进行拆包并重新组合成一个完整的时间序列值；所述数据计算操作包括：噪声功率谱PSD计算和功率谱密度概率密度函数PDF计算；在接收到PSD计算请求时，算法调度模块根据请求参数中的时间范围、台网以及台站参数查询出需要计算的每个文件的具体位置，同时将文件位置以及任务ID推送至计算节点；计算节点在接收到计算请求后，通过参数中的路径直接从HDFS上获取需要处理的Miniseed文件，并对每个Miniseed文件进行计算；所述噪声功率谱PSD计算采用WELCH方法，是改进后的分段平均周期法，计算流程为：计算快速傅立叶变换FFT数据特征参数：该步骤通过汉宁窗函数通过不同的窗口宽度取得采样点；对取得的采样点进行快速傅立叶变换；将进行傅立叶变化的采样点转换为PSD数据，转换公式为：PSD＝X^2*2*dtN对已计算完成的PSD数据进行平滑操作，得到每一个采样点的速度功率谱密度结果；当PSD计算完成后，将频率和PSD数据值的计算结果生成在一个临时文件中，并将计算结果和临时文件的路径通知算法调度模块，算法调度模块根据临时文件路径去解析临时文件并与查询参数组成的RowKey一起存入HBase数据表中；同时生成一个共享文件存放在共享文件区内用于后续PDF数据的计算，共享文件存放的内容为周期以及PSD值：在接收到PDF计算请求时，算法调度模块根据请求参数中的时间范围、台网以及台站参数在共享文件区中查询是否有存在的共享PSD文件，如果没有则将查询结果反馈至算法调度模块，再由算法调度模块先去计算PSD数据；如果存在共享PSD文，则解析出文件中的周期以及PSD数据进行计算，计算的内容为三列数据：频率、PSD数据、PDF数据，并将计算结果存为一个临时文件；并将计算结果和临时文件的路径通知算法调度模块，算法调度模块根据临时文件路径去解析临时文件并与查询参数组成的RowKey一起存入HBase数据表中。

全文数据：

权利要求：

百度查询： 中国地震台网中心 郭凯 基于分布式架构的海量地震观测数据噪声功率谱计算方法及系统