如何在同一個 L2 網絡上創建多個 Kafka 集群？

Question

我在同一個 L2 網絡上有 12 個 Kafka 節點。

我想在同一個 L2 網絡上創建 4 個 Kafka 集群（每個集群有 3 個節點）。

是否有可能做到這一點以及如何做到這一點？ 如果不是，那么解決方法是什么？

Answer 1

Kafka 集群基本上由其成員使用的 Zookeeper 數據模型定義。 因此，如果您希望某些代理屬於給定集群，則必須使它們指向相同的 Zookeeper 命名空間。 實際上，如果您想擁有 4 個集群，那么您的 Zookeeper 集合中將需要 4 個不同的 chroot，並使每個集群使用不同的一個。 例如，集群 A 的成員將使用zookeeper.connect=127.0.0.1:2181/cluster/a ，集群 B 的成員將使用zookeeper.connect=127.0.0.1:2181/cluster/b等等。 當然，另一種選擇是為每個集群使用一個完全分離的 Zookeeper 集成。

來自ZooKeeper 程序員指南

可選的“chroot”后綴也可以附加到連接字符串。 這將在解釋與此根相關的所有路徑的同時運行客戶端命令（類似於 unix chroot 命令）。 如果使用該示例將類似於：“127.0.0.1:4545/app/a”或“127.0.0.1:3000,127.0.0.1:3001,127.0.0.1:3002/app/a”，其中客戶端將植根於“/app/a”和所有路徑都將相對於這個根 - 即獲取/設置/等...“/foo/bar”將導致在“/app/a/foo/bar”上運行操作（來自服務器視角）。 此功能在多租戶環境中特別有用，在這種環境中，特定 ZooKeeper 服務的每個用戶都可能具有不同的 root 權限。 這使得重用變得更加簡單，因為每個用戶都可以編碼他/她的應用程序，就好像它以“/”為根，而實際位置（比如 /app/a）可以在部署時確定。