龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：华腾数云(北京)科技有限公司
摘要：本申请公开了一种满足ACID属性的大数据云存储方法，包括：接收用户对云存储对象的操作请求；获取最近的第R版本事务日志；根据第R版本事务日志，从Parquet格式的存储文件中查找对应的待操作对象；根据操作请求，处理待操作对象，生成更新对象；生成待写入的第R+1版事务日志；并发将待写入的第R+1版事务日志，写入到日志记录，生成第R+1版事务日志。其中，所述第R版本事务日志、第R+1版事务日志被存储于表级目录；所述对象以分区目录的方式进行存储。本申请通过存储在云对象中的事务日志记录，以及日志记录的序列化和按照预设频率设置的检查点，维护了数据对象和数据表之间的信息，更好地保证ACID事务性和高性能操作。
主权项：1.一种满足ACID属性的大数据云存储方法，其特征在于,包括以下步骤：接收用户对云存储对象的操作请求；获取最近的第R版本事务日志；根据第R版本事务日志，从Parquet格式的存储文件中查找对应的待操作对象；根据操作请求，处理待操作对象，生成更新对象；生成待写入的第R+1版事务日志；并发将待写入的第R+1版事务日志，写入到日志记录，生成第R+1版事务日志；其中，所述第R版本事务日志、第R+1版事务日志被存储于表级目录，通过对象存储表的方式来存储事务日志；所述对象以分区目录的方式进行存储，所述表的内容存储在ApacheParquet对象中，使用Hive的分区命名规范将其组织到目录中，将表存储为对象集合，基于一个或多个属性将记录分区到目录中；所述方法还包括：对第R+1版事务日志进行拍照，生成日志记录快照，具体包括：事务日志每经历N个版本，生成日志记录快照1次；所述方法还包括：按照预设频次设置存储的检查点，以便使用Spark并行进行向量化处理，所述检查点存储直到特定日志记录ID的所有非冗余操作，以Parquet格式存储在表的日志中；所述检查点包括最近一次的检查点，最近一次检查点被存储于表级目录；所述方法还包括：按照预设属性键值范围整理所述日志记录，所述操作请求被配置为包含对象属性键值范围。
全文数据：
权利要求：
百度查询： 华腾数云(北京)科技有限公司 满足ACID属性的大数据云存储方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号