消費者群體的數量是否會影響卡夫卡的表現

Question

在試圖深入了解Kafka分布模型時， StackOverflow的一句話讓我嗡嗡作響，我無法得到確認也不能否認。

因此，您擁有的訂閱者組越多，性能就越低，因為kafka需要將消息復制到所有這些組並保證總​​訂單。

據我從Kafka文檔中了解到，多個消費者群體的行為與單一消費者類似。 在經紀人中沒有進行復制，因為每個消費者對於某個分區都有自己的偏移量。 那么，組的數量應該沒有任何顯着的開銷，所有數據都在一個地方，只有偏移是不同的。 那是對的嗎？

如果這是正確的，則無法在不影響吞吐量的情況下實際引入多個不相交的消費者，因為所有消費者總是查詢所有分區，並且引入了某種類型的復制。 請注意，這與消費者線程的數量無關，線程只能提高消費者的性能，就我的結論而言，它們不會干擾代理操作。

Answer 1

我自己找到了答案，它位於Kafka 0.9的新消費者API文檔中，之后：

從概念上講，您可以將消費者群體視為恰好由多個流程組成的單個邏輯訂閱者。 作為一個多用戶系統，Kafka自然支持在沒有重復數據的情況下為給定主題設置任意數量的消費者群體（其他消費者實際上相當便宜）。

底線：不，多個消費群體不會降低性能，至少不會顯着降低。

Answer 2

它不會影響kafka進程的性能，但是由於2個或更多的使用者組意味着從kafka服務器讀取的次數是2倍或更多，如果您擁有大量的使用者組，它會影響傳出流量中的網絡利用率。 此外，數據從大部分內存中讀取並且不會影響性能，因為ram比網絡通信快得多。