一名卡夫卡消費者使用多個主題，而每個主題/分區使用一個消費者

Question

我正在研究數據攝取用例，其中數據來自多個 主題，並且必須根據主題名稱將其推送到多個表。 我試圖理解將所有主題的 一個消費者與每個主題/分區的一個消費者 具有任何 性能差異 。

Answer 1

這兩種方案之間的性能差異取決於代理，分區的數量以及預期的吞吐量。

當代理，分區和吞吐量很高時，如果所有分區只有一個使用者，那么很可能無法應付所有流量。

例如，如果您有5個代理，每個代理具有5個分區，並且每個分區的流量為5MB / s：

• 如果您只有一個使用者：它將需要與每個代理建立連接，並且必須處理5 x 5 x 5 MB / s = 125MB / s。 根據您的使用者配置，這可能不可行。 即使您可以處理125MB / s的速度，但如果最終添加更多的分區，擴展性也不會很好。

• 如果您有多個使用者：每個使用者將獲取一部分分區。 如果有5個使用者，則每個使用者僅需處理25MB / s的速度，而使用標准VM則很容易實現。

Kafka的消費者群體功能使您可以輕松地動態添加消費者。 因此，當吞吐量增加時，您可以僅從單個使用者開始，並添加更多。