5 節點 Broker 集群的 Kafka 復制因子

Question

我正在設置一個具有 3 個 Zookeper 和 5 個 Kafka Broker 節點的 Confluent Kafka 集群（社區）。 要求是即使 2 個代理節點關閉，我們也應該能夠在實時環境中繼續。

對於具有 50 個分區的主題，推薦的復制因子、同步副本應該是多少。

在大多數情況下，建議的復制因子是 3。如果我們在提到的集群配置中將其增加到 5，會有什么影響

Answer 1

將復制因子設置為 5 意味着所有分區都存在於集群中的所有代理上。 如果兩個 broker 宕機，則不再滿足復制因子要求，您的主題將被復制不足（應該給出警告）。

然后應將min.insync.replicas設置為 3（或更少），否則生成帶有acks = all的消息將失敗。 將acks設置為 1、2 或 3 來生成消息也適用於min.insync.replicas的更高值。

另請注意，當兩個節點關閉時，您無法創建復制因子為 5 的新主題（另請參閱KIP-409 ）。