為單個 kafka 主題創建多個消費者

Question

我有一個彈簧啟動應用程序。 我希望實現一個從 Kafka 主題中消費的功能，並且對於每條消費的消息，它都會調用另一個方法來對消息進行一些處理，然后將其存儲在數據庫中。 源 kafka 主題有 12 個分區。 我想在同一個消費者組下創建 6 或 12 個 kafka 消費者。 所有消費者都將消費來自 Kafka 的消息並調用該函數。 我無法為此找到一個好的設計。 有人能幫我嗎 ？

Answer 1

我們對一個有 4 個分區的主題有同樣的需求，我們創建了一個有 2 個成員的消費者組，並為每個成員（我們的消費者實例）分配了兩個分區。 如果您使用的是 spring，您可以使用此參數選擇實例將創建多少個成員：

# For Kafka concurrency 
spring.kafka.listener.concurrency=2

如果您使用的是 Kafka 庫，則此參數應在您的使用者的參數中。 請注意不要超過可用線程數。

Answer 2

源 kafka 主題有 12 個分區。 我想在同一個消費群下創建6個或12個kafka消費者

您可以設置spring.kafka.listener.concurrency或者您可以簡單地在同一台機器或具有相同配置的多台機器上運行多個 Java 進程。

您無需執行任何其他操作，因為其余部分由 Consumer API 處理