动物园管理员和卡夫卡的关系

Question

我正在学习kafka CLI。 还有一个问题。 为什么我们在创建主题和使用消息时必须使用--zookeeper选项，但是在生成消息时，我们仅使用--broker-list，它仅指Kafka本身1.create topic

 ./kafka-topics.sh --create --zookeeper `docker-machine ip bigdata` --replication-factor 1  --partitions 1 --topic bigdata

2.产生消息

 ./kafka-console-producer.sh --broker-list `docker-machine ip bigdata`:9092 --topic bigdata

3.消费信息

 ./kafka-console-consumer.sh --zookeeper `docker-machine ip bigdata`:2181 --topic bigdata

我知道卡夫卡必须使用Zookeeper进行协调。 但是从CLI命令中我仍然不太清楚

Answer 1

您必须区分主题管理和主题使用。 ZK不仅用于代理协调，还用于主题管理。

对于主题管理，ZK用于存储主题元数据，而代理（当前，Kafka 0.10.1 ）不提供用于主题管理的API。 因此，管理CLI工具实际上确实直接与ZK（而不是与代理）对话。 将来，当新的“管理员客户端”完全实现时，这种情况将会改变（参见https://cwiki.apache.org/confluence/display/KAFKA/KIP-4+-+Command+line+and+centralized+administrative +操作 ）

对于主题消费，不需要ZK，并且消费者和生产者客户仅与经纪人交谈。