买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南方电网数字平台科技(广东)有限公司

摘要：本发明公开了一种批量数据入库方法及系统，该批量数据入库系统包括检测模块、数据接收模块、数据处理模块、数据引擎、数据库和数据清理模块，该批量数据入库方法包括离线数据入库和实时数据入库两种方式，具体操作步骤如下：S1：离线数据入库：S11：通过数据引擎对数据进行提取；S12：通过数据接收模块把数据进行汇集并通过数据清理模块对数据进行清理；S13：根据数据处理模块对清理后的数据配置SQL脚本。本申请通过在离线数据入库时对数据进行清理，清理后的数据用来配置SQL脚本，通过检测模块对服务器性能进行检测，并对数据进行分批转化上传处理，大大减轻了服务器的压力，提高了服务器的使用寿命，提高了数据的上传效率。

主权项：1.一种批量数据入库方法及系统，其特征在于：该批量数据入库系统包括检测模块、数据接收模块、数据处理模块、数据引擎、数据库和数据清理模块，该批量数据入库方法包括离线数据入库和实时数据入库两种方式，具体操作步骤如下：S1：离线数据入库：S11：通过数据引擎对数据进行提取；S12：通过数据接收模块把数据进行汇集并通过数据清理模块对数据进行清理；S13：根据数据处理模块对清理后的数据配置SQL脚本，并把脚本信息储存在数据处理模块的内存中；S14：通过检测模块对服务器性能进行检测并设定适合的上传数据大小；S15：以S14中适合的上传数据大小为标准，把所有数据按照标准进行批量转化，归类分批；S16：把转化后的数据上传到数据库并通过S13中配置的SQL脚本对数据进行拼接整合；S2：实时数据入库：S21：通过检测模块对服务器性能进行检测并设定适合的上传数据大小；S22：以设定的合适的上传数据大小为标准，并通过数据引擎进行实时抽取数据；S23：通过数据接收模块接收数据并通过数据清理模块对抽取的数据进行清理，通过数据处理模块对清理后的数据配置SQL脚本，把脚本储存在数据处理模块的内存中，S24：对清理后的数据进行上传，并且备份在服务器中作为数据样本；S25：上传后的数据经过S23中配置好的SQL脚本进行拼接整合；S26：继续提取符合标准大小的数据，并以之前备份保存在服务器中的数据样本作为主数据，对新提取的数据进行数据清理，数据清理后同样上传并备份保存在服务器中；S27：重复上述S22—S26中的操作直至数据全部上传。

全文数据：

权利要求：

百度查询： 南方电网数字平台科技(广东)有限公司 一种批量数据入库方法及系统