买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：烟台噢兰多信息科技有限公司

摘要：本发明涉及平台管理技术领域，具体公开了一种大数据平台数据存储管理方法，用于解决传统关系型数据库受限于存储容量，难以应对大量半结构化和非结构化数据，导致性能瓶颈、系统卡顿和崩溃，扩展性和灵活性不足，难以适应大数据需求问题，本发明包括数据采集、数据分类、数据分析、数据分类存储管理、数据存储更新管理、数据存储处理效果管理；通过高质量的数据采集和分类，确保数据的合适存储，利用数据分配、更新、存储优先级和处理效率公式进行优化，提高了数据处理的效率和可靠性，延迟低优先级数据、合并批次处理和动态调整采样率，减轻了服务器负载，分散存储任务和定期归档历史数据，提升了系统的扩展性和灵活性。

主权项：1.一种大数据平台数据存储管理方法，其特征在于，包括如下步骤：步骤一，数据采集：采集智慧城市中大数据平台上各类多种数据源的文本数据，人工录入补充采集智慧城市中大数据平台的文本数据，并整合平台前期运维和数据迁移产生的文本数据，构建原始数据集，经过清洗与标记后的语料库按照7:2:1分为训练集、验证集和测试集，用于训练模型、验证模型和测试模型；步骤二，数据分类：从数据中提取关键特征，进行特征向量化，利用训练好的机器学习模型实现数据类型的分类，将数据分为结构化数据、半结构化数据和非结构化数据；步骤三，数据分析：利用预设的数据分配公式、数据更新公式、数据存储优先级公式、数据处理效率公式对数据进行分析，分别获取数据的分布式存储位置、更新频率、存储优先级、数据处理效率；步骤四：数据分类存储管理：根据步骤二的数据类型分类结果，将结构化的数据存储在关系型数据库中，将半结构化的数据存储在NoSQL数据库中，将非结构化的数据存储在对象存储系统中，利用预设的数据分配公式分析获得的分布式存储位置进行分布式存储；步骤五，数据存储更新管理：在步骤三获取的数据更新能力超过服务器处理能力时，根据储存优先级处理数据，优先处理高优先级数据，延迟低优先级数据，延迟时间根据实际情况预设，将每个小时的数据合并为一个批次，分批处理数据，降低单次处理的负载，对数据进行采样处理，根据服务器负载情况动态调整数据采样率；步骤六：数据存储处理效果管理：在步骤三的数据处理效率超过服务器的承受范围，将数据存储任务分散到多个节点上进行，将历史数据归档存储，减少在线存储负载，设定自动归档规则，定期将符合条件的历史数据归档。

全文数据：

权利要求：

百度查询： 烟台噢兰多信息科技有限公司 一种大数据平台数据存储管理方法