如何將分區拆分為Kafka Broker？

Question

我知道分區在Kafka Broker中是分開的。 但分裂是基於什么？ 例如，如果我有3個代理和6個分區，如何確保每個代理有2個分區？ 目前這種分裂是如何在卡夫卡進行的？

Answer 1

分配策略是一個內部實現細節，沒有記錄，因為它可以在任何時間點更改。 因此，您不應該依賴此算法保持不變。 此外，您無法對流入/配置此內部策略做任何事情。

基本策略是確保負載平衡，即，它將分區分配給分配的分區少於其他分區的代理。 因此，對於您的示例，每個代理將分配2個分區。

此外，對於分區副本，應用“機架感知”策略（從Kafka 0.10開始）。 這意味着如果可能的話，將分區副本分配給不同的機架，以便在整個機架出現故障時再次保護脫機分區。 有關詳細信息，請參閱此KIP： https ： //cwiki.apache.org/confluence/display/KAFKA/KIP-36+Rack+aware+replica+assignment