Kubernetes 集群 - 無法從 spring 啟動服務訪問在一個 pod 中運行的 Kafka 代理，該服務在多 VM k8s 集群中的另一個 pod 中運行

Question

我有一個在多 VM 環境中運行的 Kafka 代理（私有雲 - 使用我們自己的 Kubernetes 集群 - 4 節點集群）。

我創建了一個 spring 啟動應用程序，它有一個發布者，該發布者必須向 Kafka 代理內的 Kafka 主題發布消息。 我有兩個容器（Kafka 代理和 spring 引導應用程序）在同一個 Kubernetes 集群中運行。

我無法通過提供 Kafka 的服務名稱來訪問 Kafka 代理（在同一個 k8s 集群中運行）：發布者的 bootstrap.servers 中的端口 ID

Spring boot 的發布者配置：

 props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "kafka-svc:9092");- -> not working 

集群信息：

卡夫卡經紀人 yaml 文件：

    apiVersion: extensions/v1beta1
    kind: Deployment
    metadata:
      name: kafka-deploy
    spec:
      replicas: 1
      selector:
        matchLabels:
          app: kafka
      template:
        metadata:
          labels:
            app: kafka
        spec:
          containers:
          - env:
            - name: KAFKA_PORT
              value: "9092"
            - name: KAFKA_ADVERTISED_PORT
              value: "9092"
            - name: KAFKA_ADVERTISED_HOST_NAME
              value: kafka-svc
            - name: KAFKA_CREATE_TOPICS
              value: "test:1:1"
            - name: KAFKA_ZOOKEEPER_CONNECT
              value: zookeeper-svc:2181
            - name: KAFKA_BROKER_ID
              value: "1"
            name: kafka
            image: wurstmeister/kafka
            ports:
            - containerPort: 9092
    ------
       apiVersion: v1
       kind: Service
       metadata:
         name: kafka-svc
       spec:
         type: NodePort
         ports:
         - port: 9092
           targetPort: 9092
           name: http
           protocol: TCP
         selector:
           app: kafka
           kafka-broker-id: "1"

當我嘗試將字符串消息推送到 Kafka 主題時，出現以下異常：

"2020-08-18 13:28:04.525  INFO 1 --- [nio-8080-exec-1] o.a.kafka.common.utils.AppInfoParser     : Kafka startTimeMs: 1597757284523
2020-08-18 13:29:04.539 ERROR 1 --- [nio-8080-exec-1] o.s.k.support.LoggingProducerListener    : Exception thrown when sending a message with key='null' and payload='TEST' to topic test:

org.apache.kafka.common.errors.TimeoutException: Topic test not present in metadata after 60000 ms.

2020-08-18 13:29:04.544 ERROR 1 --- [nio-8080-exec-1] o.a.c.c.C.[.[.[/].[dispatcherServlet]    : Servlet.service() for servlet [dispatcherServlet] in context with path [] threw exception [Request processing failed; nested exception is org.springframework.kafka.KafkaException: Send failed; nested exception is org.apache.kafka.common.errors.TimeoutException: Topic test not present in metadata after 60000 ms.] with root cause

Answer 1

看起來您需要先創建test主題才能發布任何內容。

您可以查看該主題在您的 Kafka 集群中是否可用。 例如，來自 Kafka 代理 pod 之一：

bin/kafka-topics.sh --bootstrap-server localhost:9092 --zookeeper zookeeper-svc:2181 --topic test --describe

或者您可以在 Spring 引導應用程序上創建它：

package io.stockgeeks.kafka.config;

import org.apache.kafka.clients.admin.NewTopic;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.kafka.config.TopicBuilder;

@Configuration
public class KafkaTopicConfiguration {
  
  @Bean
  public NewTopic topicExample() {
    return TopicBuilder.name("test")
      .partitions(6)
      .replicas(3)
      .build();
  }
}

✌️

Answer 2

謝謝。 我在啟動 Kafka-broker pod 本身時使用環境變量選項創建了主題測試。 因此，我們已經在 kafka 代理系統中進行了主題測試。 我懷疑我們在 kubernetes 中用於連接到 kafka 代理的 kafka-service 配置存在問題。

問題在於我們使用的 kafka 服務（來自我們的 spring 引導應用程序的發布者）連接到 kafka 代理的主題

當我嘗試使用 kafka 服務連接到 kafka 代理時出現以下異常

bash-4.4# kafka-topics.sh --bootstrap-server kafka-svc:9092 --topic test --describe 執行主題命令時出錯：org.apache.kafka.common.errors.TimeoutException: Call(callName=listTopics, deadlineMs=1597833365003) timed out at 1597833365004 after 1 attempt(s) [2020-08-19 10:36:05,027] ERROR java.util.concurrent.ExecutionException: org.apache.kafka.common.errors.TimeoutException: Call(callName =listTopics, deadlineMs=1597833365003) timed out at 1597833365004 after 1 attempt(s) at org.apache.kafka.common.internals.KafkaFutureImpl.wrapAndThrow(KafkaFutureImpl.java:45) at org.apache.kafka.common.internals.KafkaFutureImpl .access$000(KafkaFutureImpl.java:32) at org.apache.kafka.common.internals.KafkaFutureImpl$SingleWaiter.await(Kafka270743FZ93F E1C889F448B33D21F46Z:89) at org.apache.kafka.common.internals.KafkaFutureImpl.get(KafkaFutureImpl.java:260) at kafka.admin.TopicCommand$AdminClientTopicService.getTopics(TopicCommand.scala:333) at kafka.admin.TopicCommand$AdminClientTopicService .describeTopic(TopicCommand.scala:288) at kafka.admin.TopicCommand$.main(TopicCommand.scala:68) at kafka.admin.TopicCommand.main(TopicCommand.scala) Caused by: org.apache.kafka.common.errors .TimeoutException：調用（callName=listTopics，deadlineMs=1597833365003）在 1597833365004 次嘗試后超時 原因：org.apache.kafka.common.errors.TimeoutException：等待節點分配超時。 (kafka.admin.TopicCommand$) bash-4.4#

但是，當我嘗試通過 zookeeper 服務連接時，我可以得到預期的結果，如下所示

***bash-4.4# kafka-topics.sh --zookeeper zookeeper-svc:2181 --topic test --describe
Topic: test   PartitionCount: 1       ReplicationFactor: 1    Configs:
        Topic: test   Partition: 0    Leader: 1       Replicas: 1     Isr: 1
bash-4.4#***