龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：苏州元脑智能科技有限公司
摘要：本申请提供一种海量数据集处理的方法、系统、设备及介质，涉及计算机技术领域，方法包括：由应用程序通过目标接口拦截分布式系统对文件数据的写入操作；构建文件数据的结构体存放文件数据；将结构体发送至第一队列，通过线程接收第一队列的结构体；在接收结构体的尺寸不满足第一条件时，将结构体发送至第二队列，每次接收新的结构体统计第二队列的文件尺寸；在第二队列文件尺寸满足第一条件时，将第二队列中结构体的文件数据发送至数据块通道；通过线程接收数据块通道中结构体的文件数据，并将该文件数据聚合为数据块写入聚合存储空间和将数据块的元数据写入元数据中心。旨在提升海量小文件数据集的拉取写入效率。
主权项：1.一种海量数据集处理的方法，其特征在于，所述方法包括：由用户空间的应用程序通过目标接口拦截分布式系统对文件数据的写入操作；构建拦截的所述文件数据的结构体存放所述文件数据；将所述结构体发送至第一队列，并通过开启的线程接收所述第一队列中的所述结构体；在接收的所述结构体的尺寸不满足第一条件的情况下，将所述结构体发送至第二队列，并在每次接收到新的结构体时统计所述第二队列的文件尺寸；在所述第二队列的文件尺寸满足第一条件的情况下，将第二队列中所有结构体的文件数据发送至数据块通道；通过开启的线程接收数据块通道中的所述所有结构体的文件数据，并将所述所有结构体的文件数据聚合为数据块写入所述分布式系统的聚合存储空间，并将所述数据块的元数据写入元数据中心。
全文数据：
权利要求：
百度查询： 苏州元脑智能科技有限公司 一种海量数据集处理的方法、系统、设备及介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号