买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明提供了一种资产数据批量插入大数据分析平台的数据插入方法，属于大数据分析技术领域，解决了现有技术批量导入资产数据时或出现系统响应过慢或出现数据丢失的问题。该方法包括如下步骤：建立资产数据批量插入工具，根据实际需求设置并发数参数；选定待导入资产数据，使用资产数据批量插入工具对选定的待导入资产数据依次进行解析、验证、数据预处理；建立该插入工具与目标数据库的数据传输连接，将数据预处理后结果按预设的数据映射规则并遵循并发数参数设置分批上传至目标数据库。该方法解决了大数据分析平台导入批量资产数据时存在的性能瓶颈和数据完整性问题，可高效、稳定、准确地处理批量资产数据的导入。

主权项：1.一种资产数据批量插入大数据分析平台的数据插入方法，其特征在于，包括如下步骤：S1.建立并发数参数可调的资产数据批量插入工具；S2.接收到数据导入开始指令后，根据待导入资产数据的数据量大小设置上述资产数据批量插入工具的并发数参数，包括：S21.接收到数据导入开始指令后，对待导入资产数据进行扫描，确定待导入资产数据的数据量大小；S22.根据服务器的CPU核数、内存大小，结合上述待导入资产数据的数据量大小，确定该服务器上数据插入的最佳并发数；S23.将资产数据批量插入工具中的并发数参数设置为上述最佳并发数；S3.在资产数据批量插入工具中选定待导入资产数据，并控制该资产数据批量插入工具对选定的待导入资产数据依次进行解析、验证，得到标准数据格式的待导入资产数据；步骤S3中的解析进一步包括如下子步骤：S31.在资产数据批量插入工具的配置文件中设置列映射规则，所述列映射规则包括CSV文件的列名称与目标数据库的字段名和字段类型之间的映射规则；S32.控制资产数据批量插入工具自动定位指定路径下待导入资产数据对应的所有CSV文件，并打开每一CSV文件；S33.控制资产数据批量插入工具按照上述列映射规则对每一CSV文件分别进行映射处理，使CSV文件的列名称与目标数据库的字段名和字段类型一一对应；S34.对映射处理后的每一CSV文件分别按照目标数据库的数据类型要求进行数据类型转换；S35.对数据类型转换后的每一CSV文件分别进行结构化处理，得到每一CSV文件对应的易于处理的数据结构列表，且列表中每一元素代表一条独立的待导入资产数据；步骤S3中的验证进一步包括如下子步骤：S36.对数据结构列表中每一元素分别进行必填项检查并修正必填项检查不合格结果，使得所述每一元素都包含非空值；S37.对数据结构列表中每一元素分别进行数据格式验证，包括对每一数值型数据使用正则表达式或内置函数验证其数据格式是否符合预期数据格式，对于不符合预期数据格式的元素进行修正；S38.对数据结构列表中每一元素分别进行数据范围验证，使得每一元素对应的待导入资产数据在合理设定范围内，并且其字符串长度符合目标数据库的最大字段长度限制；S39.对数据结构列表中每一元素分别进行唯一性检查，排除重复记录的待导入资产数据，以确保数据结构列表中每一元素具有数据唯一性；S40.将经过步骤S36-S39处理的数据结构列表，作为标准数据格式的待导入资产数据；S4.控制资产数据批量插入工具对所述标准数据格式的待导入资产数据进行数据预处理，以实现数据格式统一与规范化，包括：S41.控制资产数据批量插入工具对标准数据格式的待导入资产数据进行数据类型转换，使得每列数据的类型正确无误；S42.控制资产数据批量插入工具对数据类型转换后的标准数据格式的待导入资产数据进行文本数据清洗，包括去除无关字符、统一大小写；S43.控制资产数据批量插入工具对文本数据清洗后的标准数据格式的待导入资产数据分别进行时间数据处理，使得待导入资产数据中所有时间数据的格式一致，并处于同一时区；S44.控制资产数据批量插入工具对时间数据处理后的标准数据格式的待导入资产数据进行空值替换，将所有空值替换为指定值；S5.建立资产数据批量插入工具与大数据分析平台中目标数据库的数据传输连接，将数据预处理后的待导入资产数据按预设的数据映射规则并遵循上述并发数参数设置分批上传至目标数据库，包括：S51.建立资产数据批量插入工具与大数据分析平台中目标数据库的数据传输连接；S52.验证上述数据传输连接是否有效，对于无效的数据传输连接进行数据传输连接中数据库配置信息修正，直到数据传输连接有效；S53.将数据预处理后的待导入资产数据按预设的数据映射规则并遵循上述并发数参数设置分批上传至目标数据库，直到所有待导入资产数据插入完成，包括：S531.控制资产数据批量插入工具按照数据映射规则准备SQL插入语句；S532.控制资产数据批量插入工具按照其参数中的并发数参数设置，开启多线程批量执行SQL插入语句，将数据清洗后的待导入资产数据插入到目标数据库；数据映射规则包括列映射规则；S54.关闭资产数据批量插入工具与大数据分析平台中目标数据库的数据传输连接，释放其在服务器上占用的资源。

全文数据：

权利要求：

百度查询： 北京优特捷信息技术有限公司 一种资产数据批量插入大数据分析平台的数据插入方法