买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
摘要:本发明涉及一种数据流分析处理方法、系统及存储介质,属于电数字数据处理技术领域,通过对象继承机制,将数据流处理的各个环节封装为可继承和扩展的对象类,实现数据流的动态分析和处理;通过这种数据流分析处理方法,能够按照正确的顺序高效地处理所有数据对象,充分利用对象继承和初始化机制,实现灵活和可扩展的数据流分析处理。关系列表在其中起到了核心作用,确保了数据流的有序和正确性,为大规模数据处理提供了可靠的基础。
主权项:1.一种数据流分析处理方法,其特征在于,包括以下步骤:S1:定义数据流处理的基础对象类,其中数据流处理的基础属性有代码、英文编号、中文名、描述、组件类型、结果执行语句、结果预览语句、结果数据量统计语句、组件输入字段和输出字段的映射关系;S2:依据步骤S1制定的基础对象类,按照不同的数据处理需求,通过继承基础对象类,扩展实现特定的数据处理功能;并按照不同数据处理类型进行划分为六大类,分别是:输入,输出,转换,清洗,安全,计算;S3:依据步骤S2制定的输入类对象,实现不同的数据源接入;S4:依据步骤S2制定的转换、清洗类对象,对数据进行清洗、格式转换和初步分析,确保数据质量和一致性;S5:依据步骤S2制定的安全、计算类对象,执行复杂的分析操作,对数据流进行分析和处理;S6:依据步骤S2制定的输出对象将分析处理的结果通过结果输出对象类输出到指定的目标系统;S7:数据流处理对象通过构建的依赖关系网,使得数据流的处理按照指定的顺序执行;S8:将数据流任务对象转化为可执行的任务对象;步骤S1中,数据流处理的基础方法包括初始化方法、参数校验方法、字段类型校验方法;基础属性提供对组件功能的解释与用户自定义的标注能力;其中,结果执行语句是通过分析用户在组件的行为组织出与之匹配的标准语句定义,通过标准语句定义可实现所有用户利用组件定义的各类操作;结果预览语句是通过分析用户定义行为生成的数据结果预览定义,旨在于用户设计数据处理模型时能够实时的查看自己的处理结果,达到所见即所得,边处理边分析的效果;结果数据量统计语句是为数据处理结果提供预览时进行分页;字段映射是保存各个组件间字段的血缘关系,方便整个数据处理模型管理数据字段的血缘信息;步骤S3包括以下子步骤:S31:表输入类对象专门用于从关系型数据库表中读取数据;需要配置数据源ID、数据库名、数据表名以及字段列表参数,其中字段列表包含列的名字、字段类型、字段长度、小数位数、是否为空、是否主键和字段描述;表输入类对象首先定义数据源配置参数,包括数据源ID、数据库名和数据表名;用于指定需要读取数据的具体来源;在配置好数据源参数后,表输入类对象实现数据获取方法;首先通过数据源ID获取到具体的数据源信息,然后根据数据库名和数据表名,查询数据库中的数据,并将其转换为系统可处理的数据格式;表输入类对象实现参数校验和对象初始化方法;在参数校验方法中,对数据源ID、数据库名、数据表名和字段列表进行校验,确保这些参数都有值;对象初始化方法中,通过数据源ID获取具体的数据源信息,并根据字段列表的定义进行类型转换和数据获取操作;S32:API输入类对象通过填入HTTP请求的信息来获取数据;API输入类对象需要配置访问地址、请求方式、JSON数据路径、请求头、请求参数和字段列表;API输入类对象定义访问地址、请求方式、JSON数据路径、请求头、请求参数和字段列表;用于指定从API接口获取数据所需的详细信息;API输入类对象实现数据获取方法;根据配置的访问地址、请求方式、请求头和请求参数,向API接口发起请求,并根据JSON数据路径提取所需的数据;API输入类对象同样实现参数校验方法;对访问地址、请求方式、JSON数据路径进行校验,确保有效性和完整性。
全文数据:
权利要求:
百度查询: 中电安世(成都)科技有限公司 一种数据流分析处理方法、系统及存储介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。