买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：重庆邮电大学

摘要：本发明属于数据处理技术领域，具体涉及一种clickhouse实时数据流负载均衡方法及系统；该方法包括：采集clickhouse物理集群节点负载数据，构建一致性哈希多环结构，得到集群数据流的路由策略；根据clickhouse物理集群节点负载数据构建流量分发矩阵；根据流量分发矩阵，采用人工蜂群算法定期寻找流量分发的最优值，得到数据流量负载策略；根据路由策略和数据流量负载策略，采用flink流计算引擎对clickhouse集群的实时数据流进行动态调度；本发明可均衡各存储节点数据存储量，提高流量分发效率和存储性能，实用性高。

主权项：1.一种clickhouse实时数据流负载均衡方法，其特征在于，包括：S1：采集clickhouse物理集群节点负载数据；根据clickhouse物理集群节点负载数据，采用一致性哈希算法构建一致性哈希多环结构，得到集群数据流的路由策略；得到集群数据流的路由策略的过程包括：S11：根据clickhouse物理集群节点负载数据计算物理节点的初始化有效权重；计算物理节点的初始化有效权重的过程包括：根据clickhouse物理集群节点负载数据分别计算节点的内存使用率、CPU使用率和带宽使用率；根据节点的内存使用率、CPU使用率和带宽使用率计算物理节点的初始化有效权重；计算物理节点的初始化有效权重的公式为：Ew＝αCu+βMu+λBu其中，Ew表示初始化有效权重，Cu表示节点的CPU使用率，Mu表示节点的内存使用率，Bu表示节点的带宽使用率，α表示CPU权重系数，β表示内存权重系数，λ表示带宽权重系数；S12：根据初始化有效权重计算物理节点对应的虚拟节点映射数量；计算物理节点对应的虚拟节点映射数量的公式为： 其中，ρi表示第i个物理节点对应的虚拟节点个数，表示第i个物理节点的初始化有效权重，n表示物理节点数量，γ代表哈希槽的个数；S13：根据虚拟节点映射数量，采用一致性哈希算法构建一致性哈希多环结构即集群数据流的路由负载结构；根据集群数据流的路由负载结构得到集群数据流的路由策略；构建一致性哈希多环结构的过程包括：定义虚拟节点为索引节点和索引头节点；索引节点和索引头节点组成外层环，外层环用于存储哈希索引；内层环由虚拟节点组成，用于存储虚拟节点；计算索引节点所在的环的层数，根据索引节点各自所在的环的层数将所有索引节点组成多环结构；计算环的层数的公式为： 其中，Li表示第i个索引节点所在的环的层数，p表示概率常数，k表示层数；S2：根据clickhouse物理集群节点负载数据构建流量分发矩阵；S3：根据流量分发矩阵，采用人工蜂群算法定期寻找流量分发的最优值，得到数据流量负载策略；S4：根据路由策略和数据流量负载策略，采用flink流计算引擎对clickhouse集群的实时数据流进行动态调度。

全文数据：

权利要求：

百度查询： 重庆邮电大学 一种clickhouse实时数据流负载均衡方法及系统