龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：开元云(北京)科技有限公司
摘要：本发明涉及数据处理技术领域，尤其涉及一种高性能计算数据处理系统。该系统包括采集模块、过滤模块以及存储模块。本发明通过实时监测输入日志数据，首先删除运行时间为0的数据以及含有缺失值的数据，可以减少对后续数据处理流程的影响，提高数据质量和处理效率，通过对新增数据与存量数据的关系，选择不同的存储方法，在新增数据对存量数据没有影响，系统直接将新增数据追加存储，提高计算处理速度，增加实时性和处理效率，通过将新增数据与历史数据对比，确定关联数据，并采用预处理方法，将相关数据组织成复杂对象进行存储，以保留数据历史信息，提高数据处理效率和性能，保证数据的质量和一致性，以优化系统的整体性能和稳定性。
主权项：1.一种高性能计算数据处理系统，其特征在于，包括，采集模块，用以采集输入的若干订单交易日志集；过滤模块，用于分别对各订单交易日志集进行删除，分别得到待存储数据；其中，对于任一所述订单交易日志集，对运行时间为0的数据进行删除，对特征数据段有缺失值的数据进行删除，得到待存储数据；存储模块，其内存有若干历史数据段、各所述历史数据段对应的历史更新数据和存储节点，其用以对所述待存储数据集进行分割，得到待存储数据段，分别将各所述待存储数据段分片存储到对应的各存储节点上，所述存储模块包括，分析单元，对任一所述待存储数据段进行分析，若所述待存储数据段为新增数据，分析是否对存量数据有影响；处理单元，其用以对所述关联数据进行新增修改和删除修改；其中，在所述分析单元判定所述待存储数据段对关联数据有影响时，所述处理单元对所述关联数据进行新增修改，所述分析单元判定所述待存储数据段对关联数据没有影响时，所述处理单元对关联数据进行删除修改。
全文数据：
权利要求：
百度查询： 开元云(北京)科技有限公司 一种高性能计算数据处理系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号