org.apache.kafka.common.errors.TimeoutException：60000 毫秒后元数据中不存在主题

Question

我收到错误：

 org.apache.kafka.common.errors.TimeoutException: Topic testtopic2 not present in metadata after 60000 ms.

当尝试使用 Java 在 windows 上的本地 kafka 实例中生成主题时。 请注意，主题 testtopic2 存在，我可以使用 windows 控制台生成器生成消息给它就好了。

在我正在使用的代码下方：

import java.util.Properties;

import org.apache.kafka.clients.CommonClientConfigs;
import org.apache.kafka.clients.producer.Callback;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.Producer;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.clients.producer.RecordMetadata;

public class Kafka_Producer {

    public static void main(String[] args){

        Properties props = new Properties();
        props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
        props.put(ProducerConfig.ACKS_CONFIG, "all");
        props.put(ProducerConfig.RETRIES_CONFIG, 0);
        props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");
        props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");

        Producer<String, String> producer = new KafkaProducer<String, String>(props);
        TestCallback callback = new TestCallback();
        for (long i = 0; i < 100 ; i++) {
            ProducerRecord<String, String> data = new ProducerRecord<String, String>(
                    "testtopic2", "key-" + i, "message-"+i );
            producer.send(data, callback);
        }

        producer.close();
    }


    private static class TestCallback implements Callback {
        @Override
        public void onCompletion(RecordMetadata recordMetadata, Exception e) {
            if (e != null) {
                System.out.println("Error while producing message to topic :" + recordMetadata);
                e.printStackTrace();
            } else {
                String message = String.format("sent message to topic:%s partition:%s  offset:%s", recordMetadata.topic(), recordMetadata.partition(), recordMetadata.offset());
                System.out.println(message);
            }
        }
    }

}

Pom 依赖：

<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>2.6.0</version>
</dependency>

Output 列表和描述：

Answer 1

我收到错误：

 org.apache.kafka.common.errors.TimeoutException: Topic testtopic2 not present in metadata after 60000 ms.

当尝试使用 Java 在 Windows 上的本地 kafka 实例中生成主题时。 请注意，主题 testtopic2 存在，我可以使用 Windows 控制台生产者向它生成消息就好了。

在我正在使用的代码下方：

import java.util.Properties;

import org.apache.kafka.clients.CommonClientConfigs;
import org.apache.kafka.clients.producer.Callback;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.Producer;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.clients.producer.RecordMetadata;

public class Kafka_Producer {

    public static void main(String[] args){

        Properties props = new Properties();
        props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
        props.put(ProducerConfig.ACKS_CONFIG, "all");
        props.put(ProducerConfig.RETRIES_CONFIG, 0);
        props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");
        props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");

        Producer<String, String> producer = new KafkaProducer<String, String>(props);
        TestCallback callback = new TestCallback();
        for (long i = 0; i < 100 ; i++) {
            ProducerRecord<String, String> data = new ProducerRecord<String, String>(
                    "testtopic2", "key-" + i, "message-"+i );
            producer.send(data, callback);
        }

        producer.close();
    }


    private static class TestCallback implements Callback {
        @Override
        public void onCompletion(RecordMetadata recordMetadata, Exception e) {
            if (e != null) {
                System.out.println("Error while producing message to topic :" + recordMetadata);
                e.printStackTrace();
            } else {
                String message = String.format("sent message to topic:%s partition:%s  offset:%s", recordMetadata.topic(), recordMetadata.partition(), recordMetadata.offset());
                System.out.println(message);
            }
        }
    }

}

Pom依赖：

<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>2.6.0</version>
</dependency>

列表和描述的输出：

Answer 2

它也可能是由不存在的分区引起的。

例如，如果您有一个分区[0]并且您的生产者尝试发送到分区[1] ，您将收到相同的错误。 本例中的主题存在，但分区不存在。

Answer 3

我收到错误：

 org.apache.kafka.common.errors.TimeoutException: Topic testtopic2 not present in metadata after 60000 ms.

当尝试使用 Java 在 Windows 上的本地 kafka 实例中生成主题时。 请注意，主题 testtopic2 存在，我可以使用 Windows 控制台生产者向它生成消息就好了。

在我正在使用的代码下方：

import java.util.Properties;

import org.apache.kafka.clients.CommonClientConfigs;
import org.apache.kafka.clients.producer.Callback;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.Producer;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.clients.producer.RecordMetadata;

public class Kafka_Producer {

    public static void main(String[] args){

        Properties props = new Properties();
        props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
        props.put(ProducerConfig.ACKS_CONFIG, "all");
        props.put(ProducerConfig.RETRIES_CONFIG, 0);
        props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");
        props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");

        Producer<String, String> producer = new KafkaProducer<String, String>(props);
        TestCallback callback = new TestCallback();
        for (long i = 0; i < 100 ; i++) {
            ProducerRecord<String, String> data = new ProducerRecord<String, String>(
                    "testtopic2", "key-" + i, "message-"+i );
            producer.send(data, callback);
        }

        producer.close();
    }


    private static class TestCallback implements Callback {
        @Override
        public void onCompletion(RecordMetadata recordMetadata, Exception e) {
            if (e != null) {
                System.out.println("Error while producing message to topic :" + recordMetadata);
                e.printStackTrace();
            } else {
                String message = String.format("sent message to topic:%s partition:%s  offset:%s", recordMetadata.topic(), recordMetadata.partition(), recordMetadata.offset());
                System.out.println(message);
            }
        }
    }

}

Pom依赖：

<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>2.6.0</version>
</dependency>

列表和描述的输出：

Answer 4

由于目标 Kafka 实例“死亡”或指向它的 URL 错误，也会出现此错误。

在这种情况下，将消息发送到 Kafka 的线程将在max.block.ms时间被阻塞，默认值为 60000 毫秒。

您可以通过传递更改的值来检查是否是由于上述属性：

Properties props = new Properties();
...(among others)
props.put(ProducerConfig.MAX_BLOCK_MS_CONFIG, 30000); # 30 sec or any other value of your choice

如果在您指定的时间之后抛出TimeoutException ，那么您应该检查您的 Kafka 的 URL 是否正确或 Kafka 实例是否处于活动状态。

Answer 5

我收到错误：

 org.apache.kafka.common.errors.TimeoutException: Topic testtopic2 not present in metadata after 60000 ms.

当尝试使用 Java 在 Windows 上的本地 kafka 实例中生成主题时。 请注意，主题 testtopic2 存在，我可以使用 Windows 控制台生产者向它生成消息就好了。

在我正在使用的代码下方：

import java.util.Properties;

import org.apache.kafka.clients.CommonClientConfigs;
import org.apache.kafka.clients.producer.Callback;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.Producer;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.clients.producer.RecordMetadata;

public class Kafka_Producer {

    public static void main(String[] args){

        Properties props = new Properties();
        props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
        props.put(ProducerConfig.ACKS_CONFIG, "all");
        props.put(ProducerConfig.RETRIES_CONFIG, 0);
        props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");
        props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");

        Producer<String, String> producer = new KafkaProducer<String, String>(props);
        TestCallback callback = new TestCallback();
        for (long i = 0; i < 100 ; i++) {
            ProducerRecord<String, String> data = new ProducerRecord<String, String>(
                    "testtopic2", "key-" + i, "message-"+i );
            producer.send(data, callback);
        }

        producer.close();
    }


    private static class TestCallback implements Callback {
        @Override
        public void onCompletion(RecordMetadata recordMetadata, Exception e) {
            if (e != null) {
                System.out.println("Error while producing message to topic :" + recordMetadata);
                e.printStackTrace();
            } else {
                String message = String.format("sent message to topic:%s partition:%s  offset:%s", recordMetadata.topic(), recordMetadata.partition(), recordMetadata.offset());
                System.out.println(message);
            }
        }
    }

}

Pom依赖：

<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>2.6.0</version>
</dependency>

列表和描述的输出：

Answer 6

我收到错误：

 org.apache.kafka.common.errors.TimeoutException: Topic testtopic2 not present in metadata after 60000 ms.

当尝试使用 Java 在 Windows 上的本地 kafka 实例中生成主题时。 请注意，主题 testtopic2 存在，我可以使用 Windows 控制台生产者向它生成消息就好了。

在我正在使用的代码下方：

import java.util.Properties;

import org.apache.kafka.clients.CommonClientConfigs;
import org.apache.kafka.clients.producer.Callback;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.Producer;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.clients.producer.RecordMetadata;

public class Kafka_Producer {

    public static void main(String[] args){

        Properties props = new Properties();
        props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
        props.put(ProducerConfig.ACKS_CONFIG, "all");
        props.put(ProducerConfig.RETRIES_CONFIG, 0);
        props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");
        props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");

        Producer<String, String> producer = new KafkaProducer<String, String>(props);
        TestCallback callback = new TestCallback();
        for (long i = 0; i < 100 ; i++) {
            ProducerRecord<String, String> data = new ProducerRecord<String, String>(
                    "testtopic2", "key-" + i, "message-"+i );
            producer.send(data, callback);
        }

        producer.close();
    }


    private static class TestCallback implements Callback {
        @Override
        public void onCompletion(RecordMetadata recordMetadata, Exception e) {
            if (e != null) {
                System.out.println("Error while producing message to topic :" + recordMetadata);
                e.printStackTrace();
            } else {
                String message = String.format("sent message to topic:%s partition:%s  offset:%s", recordMetadata.topic(), recordMetadata.partition(), recordMetadata.offset());
                System.out.println(message);
            }
        }
    }

}

Pom依赖：

<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>2.6.0</version>
</dependency>

列表和描述的输出：

Answer 7

我收到错误：

 org.apache.kafka.common.errors.TimeoutException: Topic testtopic2 not present in metadata after 60000 ms.

当尝试使用 Java 在 Windows 上的本地 kafka 实例中生成主题时。 请注意，主题 testtopic2 存在，我可以使用 Windows 控制台生产者向它生成消息就好了。

在我正在使用的代码下方：

import java.util.Properties;

import org.apache.kafka.clients.CommonClientConfigs;
import org.apache.kafka.clients.producer.Callback;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.Producer;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.clients.producer.RecordMetadata;

public class Kafka_Producer {

    public static void main(String[] args){

        Properties props = new Properties();
        props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
        props.put(ProducerConfig.ACKS_CONFIG, "all");
        props.put(ProducerConfig.RETRIES_CONFIG, 0);
        props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");
        props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");

        Producer<String, String> producer = new KafkaProducer<String, String>(props);
        TestCallback callback = new TestCallback();
        for (long i = 0; i < 100 ; i++) {
            ProducerRecord<String, String> data = new ProducerRecord<String, String>(
                    "testtopic2", "key-" + i, "message-"+i );
            producer.send(data, callback);
        }

        producer.close();
    }


    private static class TestCallback implements Callback {
        @Override
        public void onCompletion(RecordMetadata recordMetadata, Exception e) {
            if (e != null) {
                System.out.println("Error while producing message to topic :" + recordMetadata);
                e.printStackTrace();
            } else {
                String message = String.format("sent message to topic:%s partition:%s  offset:%s", recordMetadata.topic(), recordMetadata.partition(), recordMetadata.offset());
                System.out.println(message);
            }
        }
    }

}

Pom依赖：

<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>2.6.0</version>
</dependency>

列表和描述的输出：

Answer 8

请注意，这也可能发生，因为 kafka-client 和 Spring 的版本不兼容

https://spring.io/projects/spring-kafka“Kafka Client Compatibility”矩阵中的更多信息

Answer 9

当我团队中的某个人更改了 spring.kafka.security.protocol 配置的值（我们在我的项目中使用 Spring）时，我看到了这个问题。 以前它在我们的配置中是“SSL”，但它被更新为PLAINTEXT 。 在我们连接到使用 SSL 的集群的更高环境中，我们看到了 OP 遇到的错误。

为什么我们看到此错误而不是 SSL 错误或身份验证错误超出了我的理解，但如果您遇到此错误，可能值得仔细检查您的 Kafka 集群的客户端身份验证配置。

Answer 10

卡夫卡主题 --bootstrap-server 127.0.0.1:9092 --topic my_first --create --partitions 3

首先尝试使用上述命令在 Kafka 流中插入主题

这里 my_first 是主题名称。

Answer 11

此错误为明显错误，可能由以下深层条件触发。

首先也是最常见的情况是你的 kafka 生产者配置错误，检查你的 kafka 属性BOOTSTRAP_SERVERS_CONFIG天气是正确的服务器地址。
在 docker 环境中，您可能会检查您的端口映射。
检查防火墙是否打开了broker所在服务器的9092端口。
如果您的代理在 ssl 中运行，请检查有关SSL_TRUSTSTROE_LOCATION_CONFIG 、 SECURITY_PROTOCOL_CONFIG 、 SSL_TRUSTSTORE_TYPE_CONFIG生产者配置。 而且，一些代理配置同时在 ssl 和 PLAINTEXT 中运行，请确保您需要哪个端口。

Answer 12

pom中的两个依赖：kafka-streams和spring-kafka
in application.yml (or properties): spring: kafka: bootstrap-servers: <service_url/bootstrap_server_ur> producer: bootstrap-servers: <service_url/bootstrap_server_url> key-serializer: org.apache.kafka.common.serialization.StringSerializer value-序列化程序：org.apache.kafka.common.serialization.StringSerializer 组 ID：<your_consumer_id>
@SpringBootApplication class 另一个注解：@EnableKafka

这将使它工作没有任何错误。

Answer 13

我面临同样的问题。 当您的引导程序或注册表 URL 错误或无法访问时，可能会发生这种情况

org.apache.kafka.common.errors.TimeoutException：60000 毫秒后元数据中不存在主题

问题描述

13 个解决方案

解决方案1
11 已采纳 2020-09-11 00:32:35

解决方案2
3 2022-03-17 10:22:58

解决方案3
2 2020-09-11 01:33:56

解决方案4
1 2021-08-05 15:58:59

解决方案5
0 2020-09-27 21:48:17

解决方案6
0 2020-10-02 00:14:32

解决方案7
0 2021-05-20 20:53:20

解决方案8
0 2021-08-08 18:49:45

解决方案9
0 2021-10-18 00:56:31

解决方案10
0 2021-12-19 14:01:05

解决方案11
0 2022-01-05 03:17:09

解决方案12
0 2022-08-17 07:59:35

解决方案13
0 2022-09-23 12:30:38

org.apache.kafka.common.errors.TimeoutException：60000 毫秒后元数据中不存在主题

问题描述

13 个解决方案

解决方案1 11 已采纳 2020-09-11 00:32:35

解决方案2 3 2022-03-17 10:22:58

解决方案3 2 2020-09-11 01:33:56

解决方案4 1 2021-08-05 15:58:59

解决方案5 0 2020-09-27 21:48:17

解决方案6 0 2020-10-02 00:14:32

解决方案7 0 2021-05-20 20:53:20

解决方案8 0 2021-08-08 18:49:45

解决方案9 0 2021-10-18 00:56:31

解决方案10 0 2021-12-19 14:01:05

解决方案11 0 2022-01-05 03:17:09

解决方案12 0 2022-08-17 07:59:35

解决方案13 0 2022-09-23 12:30:38

解决方案1
11 已采纳 2020-09-11 00:32:35

解决方案2
3 2022-03-17 10:22:58

解决方案3
2 2020-09-11 01:33:56

解决方案4
1 2021-08-05 15:58:59

解决方案5
0 2020-09-27 21:48:17

解决方案6
0 2020-10-02 00:14:32

解决方案7
0 2021-05-20 20:53:20

解决方案8
0 2021-08-08 18:49:45

解决方案9
0 2021-10-18 00:56:31

解决方案10
0 2021-12-19 14:01:05

解决方案11
0 2022-01-05 03:17:09

解决方案12
0 2022-08-17 07:59:35

解决方案13
0 2022-09-23 12:30:38