Kafka - 此服务器不是该主题分区的领导者

Question

我有两个经纪人kafka 0.10.2.0 cluster.Replication factor是2.我正在对这个Kafka运行1.0.0 kafka流应用程序。 在我的kafka流应用程序中，producer config的retries = 10 and retry.backoff.ms = 100

运行几分钟后，我在Kakfa server.log中观察了以下日志。 由于此Kafka流应用程序正在抛出'NOT_LEADER_FOR_PARTITION'异常。

可能的原因是什么？ 请帮我。

[2017-12-12 10:26:02,583] ERROR [ReplicaFetcherThread-0-1], Error for partition [__consumer_offsets,22] to broker 1:org.apache.kafka.common.errors.NotLeaderForPartitionException: This server is not the leader for that topic-partition. (kafka.server.ReplicaFetcherThread)

Answer 1

每个主题由一个或多个经纪人提供 - 一个是领导者，其余经纪人是追随者。

生产者需要向领导者Broker发送新消息，Broker在内部将数据复制到所有关注者。

我假设，您的生产者客户端没有连接到正确的Broker，它连接到跟随者而不是领导者，并且此关注者拒绝您的发送请求。

尝试运行./kafka-topics.sh --zookeeper localhost:2181 --topic your_topic --describe

Topic:your_topic    PartitionCount:3    ReplicationFactor:1 Configs:retention.ms=14400000
Topic: your_topic   Partition: 0    Leader: 2   Replicas: 2 Isr: 2
Topic: your_topic   Partition: 1    Leader: 0   Replicas: 0 Isr: 0
Topic: your_topic   Partition: 2    Leader: 1   Replicas: 1 Isr: 1

在此示例中，您可以看到your_topic有3个分区，这意味着所有3个代理都是该主题的领导者，每个broker 2位于不同的分区上，st broker 2是partition 0上的领导者， broker 0和broker 1是partition 0上的跟随者。

Answer 2

尝试设置这些属性，看看它是否有助于解决问题：

props.put(ProducerConfig.RETRIES_CONFIG, 10);  //increase to 10 from default of 0
props.put(ConsumerConfig.MAX_POLL_INTERVAL_MS_CONFIG,   
    Integer.toString(Integer.MAX_VALUE)); // increase to infinity from default of 300 s

（ 来源 ）