我可以在三台不同的计算机上安装生产者，经纪人和消费者吗？

Question

我对卡夫卡很陌生。 我有以下架构：

1) 2 servers runing application logics and database, can I write kafka producer on these servers wrapped with docker container ?

2) 1 server reserved for kafka broker and zookeeper

3) 1 sever reserved for kafka comsumer

我感到困惑

1) whether I can run kafka producer, broker and consumer on separate machines ? 

2) How can they communicate ? 

3)Then do I have to install kafka tarball everywhere producer/consumer/broker are running ?

Answer 1

1. 是的，您可以在单独的计算机上运行生产者，经纪人和消费者。
2. 生产者仅与经纪人通信，而消费者仅与经纪人通信。 即，经纪人是生产者和消费者之间的中介（因此称为“经纪人”）。 生产者，消费者和经纪人之间的通信通常通过Kafka Java或Scala API进行。 但是，也有其他语言的本地客户端，例如C / C ++（ librdkafka ）和HTTP / REST API（ Confluent kafka-rest ，请参阅docs ）。
3. 卡夫卡tarball必须安装在代理上。 生产者和/或消费者是否也需要Kafka压缩包，取决于您是否使用任何随附的生产者/消费者应用程序，例如Kafka的控制台消费者。 根据我的经验，大多数用户使用Kafka的Java / Scala API编写自己的生产者和/或使用者应用程序，然后将其自定义应用程序部署到所需的机器上。 在后一种情况下，您无需在这些机器（即运行生产者/消费者应用程序的机器）上也安装Kafka tarball。