汇合的docker cp-kafka-connect 4.0.0-HTTP500超时＆COORDINATOR_NOT_AVAILABLE

Question

我正在使用融合的Docker映像（版本3.3.1）运行当前的基础结构，并且一切正常。 现在，我尝试使用v4.0.0设置沙盒环境，但是遇到问题。

我在将cp-kafka-connect（v4.0.0）运行到由confluent提供的docker映像时遇到问题。

基础架构详细信息：我正在使用docker image cp-kafka：4.0.0以及Zookeeper，而我在基础架构上拥有的所有流/消费者/生产者应用程序都运行得非常完美。 只是cp-kafka-connect：4.0.0无法正常工作。 kafka正在运行，并且自动创建主题处于活动状态。

我已经使用以下环境变量运行了连接容器：

-e CONNECT_BOOTSTRAP_SERVERS=kafka1.kafka:9092,kafka2.kafka:9092,kafka3.kafka:9092
-e CONNECT_GROUP_ID=connect-03
-e CONNECT_CONFIG_STORAGE_TOPIC=connect03-config
-e CONNECT_OFFSET_STORAGE_TOPIC=connect03-offsets
-e CONNECT_STATUS_STORAGE_TOPIC=connect03-status
-e CONNECT_KEY_CONVERTER=org.apache.kafka.connect.storage.StringConverter
-e CONNECT_VALUE_CONVERTER=org.apache.kafka.connect.json.JsonConverter
-e CONNECT_INTERNAL_KEY_CONVERTER=org.apache.kafka.connect.json.JsonConverter
-e CONNECT_INTERNAL_VALUE_CONVERTER=org.apache.kafka.connect.json.JsonConverter
-e CONNECT_REST_ADVERTISED_HOST_NAME=kafka-connect-03.kafka
-e CONNECT_REST_PORT=8083
-e CONNECT_LOG4J_ROOT_LOGLEVEL=TRACE
-e CONNECT_KEY_CONVERTER_SCHEMAS_ENABLE=false
-e CONNECT_VALUE_CONVERTER_SCHEMAS_ENABLE=false
-e CONNECT_INTERNAL_KEY_CONVERTER_SCHEMAS_ENABLE=false
-e CONNECT_INTERNAL_VALUE_CONVERTER_SCHEMAS_ENABLE=false

但是，当我执行REST调用时：

curl -X GET http://kafka-connect-03.kafka/connectors/ -H 'cache-control: no-cache' -H 'content-type: application/json'

几分钟后，我收到HTTP 500超时错误。

我可以看到尾随的kafka-connect容器（请注意：此消息是独立于cUrl调用打印的，并且永远打印）：

    [2017-12-31 17:55:40,099] DEBUG [Consumer clientId=consumer-1, groupId=connect03] Sending GroupCoordinator request to broker kafka3.kafka:9092 (id: 1009 rack: null) (org.apache.kafka.clients.consumer.internals.AbstractCoordinator)
[2017-12-31 17:55:40,099] TRACE [Consumer clientId=consumer-1, groupId=connect03] Sending FIND_COORDINATOR {coordinator_key=connect03,coordinator_type=0} with correlation id 3098 to node 1009 (org.apache.kafka.clients.NetworkClient)
[2017-12-31 17:55:40,100] TRACE [Consumer clientId=consumer-1, groupId=connect03] Completed receive from node 1009 for FIND_COORDINATOR with correlation id 3098, received {throttle_time_ms=0,error_code=15,error_message=null,coordinator={node_id=-1,host=,port=-1}} (org.apache.kafka.clients.NetworkClient)
[2017-12-31 17:55:40,100] DEBUG [Consumer clientId=consumer-1, groupId=connect03] Received GroupCoordinator response ClientResponse(receivedTimeMs=1514742940100, latencyMs=1, disconnected=false, requestHeader=RequestHeader(apiKey=FIND_COORDINATOR, apiVersion=1, clientId=consumer-1, correlationId=3098), responseBody=FindCoordinatorResponse(throttleTimeMs=0, errorMessage='null', error=COORDINATOR_NOT_AVAILABLE, node=:-1 (id: -1 rack: null))) (org.apache.kafka.clients.consumer.internals.AbstractCoordinator)
[2017-12-31 17:55:40,100] DEBUG [Consumer clientId=consumer-1, groupId=connect03] Group coordinator lookup failed: The coordinator is not available. (org.apache.kafka.clients.consumer.internals.AbstractCoordinator)
[2017-12-31 17:55:40,100] DEBUG [Consumer clientId=consumer-1, groupId=connect03] Coordinator discovery failed, refreshing metadata (org.apache.kafka.clients.consumer.internals.AbstractCoordinator)

同时在kafka日志上，我看不到任何错误。

我试过了：

• 离开connect / kafka来创建主题（配置，偏移和状态）

结果：仅创建偏移量主题

• 自己创建主题之前

结果：没什么值得注意的

• 每次尝试新操作时，我都更改了groupId / appId config / offsets / status主题名称（以避免出现脏设置问题）

这种行为的任何线索吗？

非常感谢您的支持。

Answer 1

最终，我意识到了问题所在。 我正在启动没有KAFKA_BROKER_ID env变量的kafka容器。 这会产生一个带有伪随机数（例如1007）的kefka经纪人。

自从我多次启动/停止kafka容器以来，发生了一些集群配置混乱的情况。 实际上，在检查集群时，我看到集群由3个代理（活动的1007、1008、1009）组成，其他3个处于脱机状态（1004、1005、1006）。 当我第一次创建cp-kafka-connect时是使用前3个代理，因此损坏了。

现在，我清理了所有内容，将KAFKA_BROKER_ID放入每个kafka代理中，一切正常。

非常感谢。