什么是Apache Helix中的“分區”

Question

我正在學習Apache Helix。 我碰到了關鍵字“分區”。
根據此處提到的定義http://helix.apache.org/Concepts.html ，每個（主任務的）子任務在Helix中都稱為分區。
當我瀏覽食譜-分布式鎖管理器時，分區不過是資源的實例。 （增加numOfPartitions，增加鎖的數量）。

final int numPartitions = 12;
admin.addResource(clusterName, lockGroupName, numPartitions, "OnlineOffline",
          RebalanceMode.FULL_AUTO.toString());

有人可以用簡單的例子解釋一下，Apache Helix中的分區到底是什么嗎？

Answer 1

我認為您是對的，分區本質上是資源的實例。 與其他分布式系統一樣，使用分區來實現並行性。 只有一個實例的資源只能在一台機器上運行。 分區只是提供了通過對資源進行分區來在多個計算機之間拆分單個資源所必需的構造。

在大部分分布式系統中都可以找到這種模式。 不過，區別在於，例如，分布式數據庫本質上將分區明確定義為可以容納在單個節點上的一些較大數據集的子集，而Helix更具通用性，因為分區沒有明確的含義或用例，但是很多潛在含義和潛在用例。

我非常熟悉的系統中的這些用例之一就是Apache Kafka的主題分區。 在Kafka中，每個主題-本質上是一個分布式日志-分為多個分區。 盡管主題數據可以分布在群集中的許多節點上，但是每個分區都被限制在單個節點上的單個日志中。 Kafka通過向新節點添加新分區來提供可伸縮性。 當產生針對Kafka主題的消息時，在內部將它們散列到某個特定節點上的某個特定分區。 從主題消費消息時，使用者從主題消費時在分區之間切換，從而在節點之間切換。

這種模式通常適用於許多可伸縮性問題，幾乎可以在任何HA分布式數據庫（例如DynamoDB，Hazelcast），地圖/縮減（例如Hadoop，Spark）以及其他數據或任務驅動的系統中找到。

LinkedIn上有關Helix的博客文章實際上還提供了許多有用的示例，說明資源與分區之間的關系。