买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:四川商通实业有限公司
摘要:本发明公开了一种大数据清洗配置式字段解析方法,包括如下具体步骤:S1、设置文件的类型ID,用户通过excel模版的数据设置文件的类型ID,每一个字段对应的数据类型可为字符串、整形、浮点数;S2、建立程序配置文件目录,将设置文件的类型ID上传到程序配置文件目录;S3、模版数据清洗,当用户进行模版数据清洗时,上传excel模版并选择模版类型的ID;S4、字段解析,清洗程序根据数据来源,模版ID会自动调用响应的解析配置对应的字段进行解析。通过excel模版的数据设置文件的类型ID,ID上传到程序配置文件目录,清洗程序根据数据来源,模版ID会自动调用响应的解析配置对应的字段进行解析,进而减少了工作人员的工作量。
主权项:1.一种大数据清洗配置式字段解析方法,其特征在于,包括如下具体步骤:S1、设置文件的类型ID,用户通过excel模版的数据设置文件的类型ID,每一个字段对应的数据类型包括字符串、整形、浮点数;S2、建立程序配置文件目录,将设置文件的类型ID上传到程序配置文件目录;S3、模版数据清洗,当用户进行模版数据清洗时,上传excel模版并选择模版类型的ID;S4、字段解析,清洗程序根据数据来源,模版ID会自动调用相应的解析配置对应的字段进行解析;其中,所述字段解析包括自动导入解析模块、自动匹配解析模块、保存解析模块;所述自动导入解析模块,用于清洗程序数据模版ID自动按上传格式导入;所述自动匹配解析模块,用于自动匹配通过所述自动导入解析模块上传格式的程序数据模版ID,并进行解析;所述保存解析模块,用于将所述自动匹配解析模块解析后的程序数据模版ID进行保存;所述自动匹配解析模块包括数据恢复模块、清除数据模块;所述数据恢复模块,当所述自动匹配解析模块解析到数据有错误或数据有缺口时,通过数据恢复模块对该数据的ID进行恢复;所述清除数据模块,当所述自动匹配解析模块解析到数据有重复或错误时,通过所述清除数据模块将该数据的ID进行清除。
全文数据:
权利要求:
百度查询: 四川商通实业有限公司 一种大数据清洗配置式字段解析方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。