在虚拟机中的docker中与kafka连接

Question

我正在尝试将wurstmeister\\kafka-docker镜像与wurstmeister\\kafka-docker -compose一起使用，但是在连接所有内容时遇到了实际问题。

我正在使用Oracle Linux 7.6作为基于XEN主机服务器的来宾OS，因此该虚拟机中没有虚拟化。

我试图与一个经纪人联系，所以我使用了docker-compose-single-broker.yml ：

version: '2'
services:
  zookeeper:
    image: wurstmeister/zookeeper
    ports:
      - "2181:2181"
  kafka:
    build: .
    ports:
      - "9092:9092"
    environment:
      KAFKA_ADVERTISED_HOST_NAME: 127.0.0.1
      KAFKA_CREATE_TOPICS: "test:1:1"
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock

所以当我运行docker-compose -f docker-compose-single-broker.yml up一切看起来都不错：

kafka_1      | creating topics: test:1:1
zookeeper_1  | 2019-04-23 12:32:16,680 [myid:] - INFO  [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxnFactory@215] - Accepted socket connection from /172.24.0.2:50096
zookeeper_1  | 2019-04-23 12:32:16,685 [myid:] - INFO  [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:ZooKeeperServer@949] - Client attempting to establish new session at /172.24.0.2:50096
zookeeper_1  | 2019-04-23 12:32:16,690 [myid:] - INFO  [SyncThread:0:ZooKeeperServer@694] - Established session 0x100476bb75e0001 with negotiated timeout 30000 for client /172.24.0.2:50096
zookeeper_1  | 2019-04-23 12:32:17,161 [myid:] - INFO  [ProcessThread(sid:0 cport:2181)::PrepRequestProcessor@487] - Processed session termination for sessionid: 0x100476bb75e0001
zookeeper_1  | 2019-04-23 12:32:17,165 [myid:] - INFO  [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxn@1056] - Closed socket connection for client /172.24.0.2:50096 which had sessionid 0x100476bb75e0001

之后，我打开新终端并运行ssh： docker run --rm -v /var/run/docker.sock:/var/run/docker.sock -e HOST_IP=172.17.0.1 -e ZK=172.17.0.1:2181 -i -t kafka-docker_kafka /bin/bash

但是当我尝试创建新主题时：

kafka-topics.sh --create --topic topicELO --partitions 4 --zookeeper $ZK --replication-factor 1

我有例外：

Exception in thread "main" kafka.zookeeper.ZooKeeperClientTimeoutException: Timed out waiting for connection while in state: CONNECTING
        at kafka.zookeeper.ZooKeeperClient.$anonfun$waitUntilConnected$3(ZooKeeperClient.scala:242)
        at scala.runtime.java8.JFunction0$mcV$sp.apply(JFunction0$mcV$sp.java:23)
        at kafka.utils.CoreUtils$.inLock(CoreUtils.scala:251)
        at kafka.zookeeper.ZooKeeperClient.waitUntilConnected(ZooKeeperClient.scala:238)
        at kafka.zookeeper.ZooKeeperClient.(ZooKeeperClient.scala:96)
        at kafka.zk.KafkaZkClient$.apply(KafkaZkClient.scala:1825)
        at kafka.admin.TopicCommand$ZookeeperTopicService$.apply(TopicCommand.scala:262)
        at kafka.admin.TopicCommand$.main(TopicCommand.scala:53)
        at kafka.admin.TopicCommand.main(TopicCommand.scala)

我也尝试了机器的localhost和IP-相同的结果。

当我尝试在Windows的Docker中执行此操作时，使用host.docker.internal一切正常-在Linux上我出错了吗？

Answer 1

您需要在--network docker run命令上添加--network选项，使其与Docker-Compose网络名称相同。

否则，您的“新容器”将与Zookeeper容器不在同一网络中，因此连接将超时。

完成此操作后，就不需要-e ZK ，只需使用kafka-topics --zookeeper zookeeper:2181 （容器服务名称）

使用docker network ls并查找包含您在其中启动docker-compose的目录名称的目录

---

不过，更快的方法是这样做

docker-compose exec kafka bash -c "kafka-topics --create --zookeeper zookeeper:2181 ... "

---

注意： KAFKA_ADVERTISED_HOST_NAME: 127.0.0.1不是“正确的”，因为您将告诉任何外部Kafka客户端（而不是Kafka容器）连接到它们自己（在127.0.0.1上）。 这里有更多细节