使用帶有Java的Apache Kafka 0.10.0 API創建Kafka代理群集

Question

我想使用Kafka 0.10 API創建一個代理集群，最好使用Java 。 據我kafka_2.11-0.10.0.0.jar支持使用以下方式創建代理：

import kafka.cluster.Broker;
import kafka.cluster.Cluster; 

但我找不到任何這樣做的文件。 我最近閱讀了[1]，它講述了如何使用Java Kafka API創建主題。 我們可以做類似的事情來創建代理群集，更新分區，將現有數據/分區遷移到新代理 （因為這些新代理不會自動分配任何數據分區，所以除非將分區移動到它們，否則它們不會做任何工作[2]）

[1] 我們如何使用API​​從IDE在Kafka中創建主題

[2] https://kafka.apache.org/0100/ops.html#basic_ops_cluster_expansion

Answer 1

我有一些你可能會覺得有用的示例代碼。

要創建代理，請查看KafkaTestServer 。 它實際上是為了更簡單的測試，所以它不會創建一個集群，只是一個代理，但它應該不難擴展。

一旦我構建了在測試服務器中創建/查詢/刪除主題的能力，我創建了一個獨立的管理客戶端，用於對其他服務器執行相同操作，因此如果您已經在創建代理群集，那么您應該能夠使用代碼保持主題。 看看KafkaAdminClient 。

admin客戶端基本上是scala kafka.admin.AdminUtils類的純java包裝器，因此它處理所有scala < - > java轉換。