发送到主题时抛出 TimeoutException

Question

我已经使用 kafkatemplate bean 创建了发件人类，通过 SenderConfiguration 类中的一些配置将有效负载发送到主题。

发件人类

@Component
public class Sender {
    private static final Logger LOGGER = (Logger)  LoggerFactory.getLogger(Sender.class);

    @Autowired
    private KafkaTemplate<String, String>   kafkaTemplate;

    public void send(String topic, String payload) {
        LOGGER.info("sending payload='{}' to topic='{}'", payload, topic);

        kafkaTemplate.send(topic, "1", payload);
    }
}

, senderConfiguration类

@Configuration
public class SenderConfig {

    @Value("${kafka.bootstrap-servers}")
    private String bootstrapServers;

    @Bean
    public Map<String, Object> producerConfigs() {
        Map<String, Object> props = new HashMap<>();
        // list of host:port pairs used for establishing the initial connections to the Kakfa cluster
        props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, bootstrapServers);
        props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class);
        props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class);

        return props;
    }

    @Bean
    public ProducerFactory<String, String> producerFactory() {
        return new DefaultKafkaProducerFactory<>(producerConfigs());
    }

    @Bean
    public KafkaTemplate<String, String> kafkaTemplate() {
        return new KafkaTemplate<>(producerFactory());
    }

    @Bean
    public Sender sender() {
        return new Sender();
    }
}

问题在于发送而不是生产

这里是 application.yml 文件属性

kafka:
   bootstrap-servers: localhost:9092
topic:
   helloworld: helloworld.t

并且简单地包含控制器

@RestController
public class Controller {
    protected final static String HELLOWORLD_TOPIC = "helloworld.t";

    @Autowired
    private Sender sender;

    @RequestMapping("/send")
    public String SendMessage() {

        sender.send(HELLOWORLD_TOPIC, "message");

        return "success";
    }
}

例外是

2017-12-20 09:58:04.645  INFO 10816 --- [nio-7060-exec-1] o.a.kafka.common.utils.AppInfoParser     : Kafka version : 0.10.1.1
2017-12-20 09:58:04.645  INFO 10816 --- [nio-7060-exec-1] o.a.kafka.common.utils.AppInfoParser     : Kafka commitId : f10ef2720b03b247
2017-12-20 09:59:04.654 ERROR 10816 --- [nio-7060-exec-1] o.s.k.support.LoggingProducerListener    : Exception thrown when sending a      message with key='1' and payload='message' to topic helloworld.t:

org.apache.kafka.common.errors.TimeoutException: Failed to update   metadata after 60000 ms.

Answer 1

使用包含密钥的方法

kafkaTemplate.send(topic, key, payload);

目前尚不清楚您要使用什么键值，但它应该均匀分布在主题的分区数中。 例如，分区计数范围内的随机数。

Answer 2

这意味着您的经纪人没有运行。 检查 server.log 并在必要时重新启动代理

Answer 3

这种错误的可能性很小。

1. 使用配置的端口无法访问 Kafka 代理。
   • 为此，请尝试使用telnet localhost 9092进行远程登录，如果您获得的输出意味着 kafka borker 正在运行

2. 检查 spring-boot 使用的 kafka-client 版本是否与您的 kafka 版本相同。 如果版本不匹配，kafka 可能无法向主题发送数据

3. 有时经纪人需要时间来了解新创建的主题。 因此，生产者可能会失败，并出现错误Failed to update metadata after 60000 ms. 要解决此问题，请使用 kafka 命令行选项手动创建 kafka。

4. server.properties 的侦听器配置不起作用。

你也可以试试这个

• 将“bootstrap.servers”属性或 --broker-list 选项更改为 0.0.0.0:9092

• 在 2 个属性中更改 server.properties

  • listeners = PLAINTEXT://your.host.name:9092 到 listeners=PLAINTEXT://:9092
  • 广告.listeners=PLAINTEXT://your.host.name:9092 到广告.listeners=PLAINTEXT://localhost:9092

希望有帮助！