首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

基于Spark引擎的数据处理方法、装置以及设备 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

申请/专利权人:广州思迈特软件有限公司

摘要:本申请涉及数据处理技术领域,提出一种基于Spark引擎的数据处理方法、装置以及设备,该方法包括:获取从数据处理界面选择的数据源节点、组合查询节点以及将所述数据源节点与所述组合查询节点通过工作流线形成的节点流转关系,生成数据处理工作流;响应于对数据源节点的触发操作,通过Spark引擎从数据源节点对应的业务数据库中获取业务数据,并将业务数据存储至Spark引擎所在服务器的存储空间;响应于对组合查询节点的触发操作,显示组合查询界面;响应于从各个字段中选择确定目标字段的触发操作,通过Spark引擎,从存储空间中获取目标字段对应的数据;在组合查询界面上显示目标字段对应的数据,从而提高了数据处理效率,降低了数据处理成本。

主权项:1.一种基于Spark引擎的数据处理方法,其特征在于,所述方法包括如下步骤:获取从数据处理界面选择的数据源节点、组合查询节点以及将所述数据源节点与所述组合查询节点通过工作流线形成的节点流转关系;根据所述数据源节点、所述组合查询节点以及所述节点流转关系,生成数据处理工作流;响应于对所述数据源节点的触发操作,通过所述Spark引擎从所述数据源节点对应的业务数据库中获取业务数据,将所述业务数据存储至所述Spark引擎所在服务器的存储空间;响应于对所述组合查询节点的触发操作,根据所述数据处理工作流,从所述存储空间中获取所述业务数据中各个字段,显示组合查询界面;其中,所述组合查询界面显示有所述业务数据中的各个字段;响应于从各个所述字段中选择确定目标字段的触发操作,通过所述Spark引擎,从所述存储空间中获取所述目标字段对应的数据;在所述组合查询界面上显示所述目标字段对应的数据。

全文数据:

权利要求:

百度查询: 广州思迈特软件有限公司 基于Spark引擎的数据处理方法、装置以及设备

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。