[英]Connecting to Zookeeper in a Apache Kafka Multi Node cluster
我按照以下说明设置了多节点kafka集群。 现在,如何连接到Zookeeper? 是否可以从JAVA的生产者/消费者端仅连接到一个Zookeeper,还是可以连接所有Zookeeper节点?
设置多节点Apache ZooKeeper集群
在集群的每个节点上,将以下行添加到文件kafka / config / zookeeper.properties中
server.1=zNode01:2888:3888
server.2=zNode02:2888:3888
server.3=zNode03:2888:3888
#add here more servers if you want
initLimit=5
syncLimit=2
在集群的每个节点上,在由dataDir属性表示的文件夹中创建一个名为myid的文件(默认情况下,该文件夹为/ tmp / zookeeper)。 myid文件应仅包含znode的ID(对于zNode01,'1';对于ZNode02,'2',等等……)
设置多代理Apache Kafka集群
在集群的每个节点上,从文件kafka / config / server.properties修改属性zookeeper.connect:
zookeeper.connect=zNode01:2181,zNode02:2181,zNode03:2181
在集群的每个节点上,从文件kafka / config / server.properties修改属性host.name:host.name = zNode0x
在集群的每个节点上,从文件kafka / config / server.properties修改属性broker.id(集群中的每个代理都应具有唯一的ID)
您可以传递生产者或使用者中的所有节点。 Kafka足够智能,它可以连接到具有基于复制因子或分区所需数据的节点
这是消费者代码:
Properties props = new Properties();
props.put("bootstrap.servers", "acbd.com:9092,defg.com:9092");
props.put("group.id", "test");
props.put("enable.auto.commit", "true");
props.put("auto.commit.interval.ms", "1000");
props.put("session.timeout.ms", "30000");
props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
consumer.subscribe(Arrays.asList("foo", "bar"));
while (true) {
ConsumerRecords<String, String> records = consumer.poll(100);
for (ConsumerRecord<String, String> record : records)
System.out.printf("offset = %d, key = %s, value = %s", record.offset(), record.key(), record.value());
}
您可以在这里找到更多信息
注意 :此方法的问题是它将打开多个连接以找出哪个节点保存了数据。 对于更健壮和可扩展的系统,您可以维护分区号和节点名的映射,这也将有助于负载平衡。
这是生产者样品
Properties props = new Properties();
props.put("bootstrap.servers", "acbd.com:9092,defg.com:9092");
props.put("acks", "all");
props.put("retries", 0);
props.put("batch.size", 16384);
props.put("linger.ms", 1);
props.put("buffer.memory", 33554432);
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
Producer<String, String> producer = new KafkaProducer<>(props);
for(int i = 0; i < 100; i++)
producer.send(new ProducerRecord<String, String>("my-topic", Integer.toString(i), Integer.toString(i)));
producer.close();
更多信息在这里
无需在Kafka客户端(生产者和消费者)中传递Zookeeper连接属性。
从Kafka-v9及更高版本开始,Kafka Producer和Consumer不与Zookeeper通信。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.