具有不同主題 ApplicationId 的多個 Kafka 流

Question

給定一個可以有多個實例的組件，以及以下結構：

1. Stream1[主題 1，目的地 1]
2. Stream2[主題 2，目的地 2]

其中 destination 是一個隊列，所有鏈接都是 1:1。

我們是否需要為每個 KafkaStream 設置相同的applicationId ？ 眾所周知，applicationId 將生成 client.id 和 group.id，這對於如何分配分區很重要。 在官方文檔中找不到任何內容。

Answer 1

您可以在同一個 JVM 進程中運行兩個應用程序，使用單獨的線程來啟動兩個拓撲，或者您可以簡單地運行兩個獨立的 JVM 進程。 這兩種情況都使用不同的 ID。

或者您可以運行一個進程（一個 id），訂閱兩個主題，但使用branch運算符按主題名稱分隔流。

• https://www.confluent.io/blog/putting-events-in-their-place-with-dynamic-routing/
• https://docs.confluent.io/platform/current/streams/developer-guide/dsl-api.html#stateless-transformations

Answer 2

如果您的程序不同（即不同Topology ），則需要使用不同的application.id配置。 使用相同的application.id配置要求所有實例執行完全相同的Topology 。

當然，您也可以構建一個同時處理兩個主題的Topology ：

StreamsBuilder builder = ...

builder.stream("topic1")...to("destination1");
builder.stream("topic2")...to("destination2");