使用 KafkaListener 一次从 Kafka 消费最少 N 条消息

Question

我需要使用 KafkaListener 从 Kafka 消费至少 N 条消息

以下是消费者配置

Map<String, Object> props = new HashMap<>();
    props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, bootstrapServers);
    props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class);
    props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class);
    props.put(ConsumerConfig.GROUP_ID_CONFIG, "batch");
    // maximum records per poll
    props.put(ConsumerConfig.MAX_POLL_RECORDS_CONFIG, "10");

Answer 1

使用 spring-kafka 无法保证消耗最少数量的消息。 如果您需要处理消息以执行有状态操作，（聚合、减少...）考虑使用 kafka 流并保持 kafka 在可扩展性、数据一致性方面提供的优势...