买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国科学院信息工程研究所

摘要：本发明公开了一种面向元数据稀疏分布的LSM数据组织方法及装置。本发明使用动态分区组织排序字符串表，具体先对键值对数据的键名进行聚类分析得到键名群组，然后修剪键名群组形成键值对分区，将键值对数据刷写进对应的键值对分区内形成排序字符串表，各键值对分区独立进行合并排序操作，从而有效限制了元数据稀疏分布的排序字符串表的形成，进而大大减少参与合并排序过程的高层级排序字符串表数量，减少高层级排序字符串表反复参与合并排序操作的次数，检索键值对数据时，键值对分区进一步加快定位键值对数据，从而实现系统读写性能的提升。

主权项：1.一种面向元数据稀疏分布的LSM数据组织方法，其步骤包括：当键值对数据刷写进磁盘过程中，首次触发将可变内存表转变为不可变内存表时，依据键名距离对所述不可变内存表中的键值对数据的键名进行聚类分析，得到若干键名群组；然后对每一所述键名群组进行修剪，得到一键值对分区；然后将位于所述键值对分区内的键值对数据刷写形成排序字符串表，将位于所述键值对分区之外的键值对数据统一存入位于内存区域的键值对数据暂存区中；其中对每一所述键名群组进行修剪的方法为：将所述键名群组中的最小键作为对应键值对分区的键控范围左边界值，将所述键名群组中的最大键作为所述键值对分区的键控范围右边界值；若所述键值对分区的键控范围右边界值与左边界值的绝对差值超过所述键值对分区的键控范围大小阈值R，则依据所述键值对分区的键控范围大小阈值R对所述键值对分区的键控范围进行修剪，修剪方式为按键大小依次淘汰最小键，直至所述键值对分区的键控范围右边界值与左边界值的绝对差值保持在所述键值对分区的键控范围大小阈值R之内；键值对分区信息包括键控范围、扩增系数、键控范围大小阈值、排序字符串表个数；当键值对数据刷写进磁盘过程中，非首次触发将可变内存表转变为不可变内存表时，按键控范围大小排序列举所述键值对分区，获取每一所述键值对分区的信息，包括键值对分区的键控范围[A,B]、键值对分区的扩增系数T和键值对分区的键控范围大小阈值R；然后待不可变内存表刷写磁盘时，检索所述不可变内存表中的键值对数据，将键名位于区间[A-T,B+T]中的键值对数据筛选出来，并刷写到对应的键值对分区中形成排序字符串表，然后更新所述键值对分区的键控范围；然后获取筛选所剩键值对数据与所述键值对数据暂存区中的键值对数据的键名，并进行聚类，再次得到新的键名群组；然后依据所述新的键名群组修剪得到新的键值对分区，将位于所述新的键值对分区内的键值对数据刷写形成排序字符串表。

全文数据：

权利要求：

百度查询： 中国科学院信息工程研究所 一种面向元数据稀疏分布的LSM数据组织方法及装置