Kafka消費者和分區查詢

Question

我是Kafka的新手，並閱讀了一些教程。 我無法理解使用者與分區之間的關系。

請解決我下面的問題。

1. 根據文檔，只有一個使用者可以分組使用消息。 為什么我們需要在同一組中創建更多的消費者？ 有什么好處？

2. 消費者是否由ZK分配到單個分區？ ，如果是，如果生產者將消息發送到其他分區，那么其他分區的使用者將如何使用該消息？

3. 我有一個主題，它有3個分區。 我發布了味精，它轉到P0。 我有5個消費者（不同的消費群體）。 所有消費者都會從P0中讀取消息嗎？ 如果我增加許多消費者，是否都將從同一P0讀取消息？ 如果所有消費者都從同一個PO中讀取數據，那么性能將如何？

4. 重新平衡如何運作？ 當您增加消費者群體或同一群體中的消費者時，它將起作用嗎？

請澄清我的問題並舉一些例子。

Answer 1

1. 是的，只有使用者組中的使用者可以使用一個分區中的消息，同一組中的其余使用者將被分配給其余分區以進行並行處理。 優點是並行處理。

2. 是的，分區將由ZK分配給使用者。 根據分區計數和使用者計數，將完成分配。 例如：主題（測試）具有3個分區（P1，P2和P3）。 我們有一個消費者（C1）。 C1將從所有分區讀取消息。 如果您在同一組（c2）中再添加一個消費者。 ZK將P1，p2分配給C1，而P3分配給C2。 如果比P1 = C1多增加一個消費者（C3），則P2 = C2和P3 = C3。 使用者數量不應大於該主題的分區數量。

3. 以上幾點將回答這一問題。

4. 當您在同一消費者組中添加消費者時，重新平衡將起作用。