龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：中国人民解放军海军大连舰艇学院;清华大学
摘要：本申请提供一种包含大量已知重复字段的格式化数据采集方法及装置，涉及数据采集技术领域，通过日志生成模块按照预设案例日志格式对待处理非结构数据进行处理和脱敏处理，生成格式化标准化的案例日志，并存储至日志文件中；通过日志采集模块进行分割和压缩处理并发送至数据处理模块；通过数据处理模块按照键值对数据处理后的案例日志进行数据还原，将还原得到的数据导入至数据仓库。上述方法基于日志生成模块、日志采集模块、日志采集模块和键值存储模块可快速获取准确的水面编队数据的结构化日志，同时实现水面编队数据的脱敏处理和快速传输，不易泄漏水面编队数据的保密信息。
主权项：1.一种包含大量已知重复字段的格式化数据采集方法，其特征在于，所述方法包括：通过日志生成模块，按照预设案例日志格式对待处理非结构数据进行处理，得到格式化的案例日志，并根据键值存储模块中_system_encrypt_fields_设置的字段，按照字段顺序对所述格式化的案例日志进行脱敏处理，生成格式化标准化的案例日志，并存储至日志文件中，所述键值存储模块存储有用于对重复长字段进行替换处理或进行脱敏处理的键值对数据；通过日志采集模块，从所述日志文件中获取案例日志，经过分割和压缩处理，将处理后的案例日志发送至数据处理模块；通过数据处理模块，接收处理后的案例日志，并按照键值存储模块中存储的键值对数据对所述处理后的案例日志进行数据还原，还原得到JSON格式的数据，并导入至数据仓库。
全文数据：
权利要求：
百度查询： 中国人民解放军海军大连舰艇学院 清华大学 一种包含大量已知重复字段的格式化数据采集方法及装置
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号