Kafka Consumer組-分區數-復制數

Question

試圖理解復制因子與消費者群體的關系。 示例：分區數= 2復制數= 3使用者組中的使用者數= 4。 在這種情況下 ，

1. 有多少消費者會收到該消息？
2. 這種復制將如何影響接收的消費者數量。

Answer 1

• 對於第一個問題，由於示例中有兩個分區，因此4個使用者中只有2個實際上會獲取數據。 其他兩個使用者將沒有分配任何分區，因為該使用者組沒有剩余的分區。 如果您有其他使用者組，則這些使用者仍將分配有分區。

• 此外，在這種情況下，您提到只有一條消息通過。 根據將其分配給哪個分區，消息將僅發送到該分區。 因此，在這種情況下，四個使用者中只有一個會收到消息，即為其分配了該分區的消息。

• 關於第二個問題，Kafka中的復制因子配置不會影響使用者收到的消息數量。 就消費者和生產者而言，復制是內部kafka群集詳細信息 ，他們無需擔心。 只要他們正在向分區負責人生產/從分區負責人消費，這就是他們所需要知道的全部。 一個主題可能具有復制因子2，另一個主題可能具有復制因子10，並且它們的行為與生產者和消費者相同。

Kafka官方文檔中還有更多詳細信息： https : //kafka.apache.org/documentation/#theconsumer

Answer 2

為了提供有關復制因子的更多詳細信息，它與從該主題接收消息的使用者數量沒有任何關系。 復制僅用於一個主要目的，那就是High Availability 。 因此，假設您在一個群集中有3個代理，並且對於主題my-topic，您已將復制因子設置為2。現在，如果在某個時間點最多有一個代理發生故障，那么您仍然可以，因為消息已在該主題的另一個代理中復制。