一个Spring的KafkaConsumer侦听器可以侦听来自同一分区的多个消息吗？

Question

提供了具有n个分区的主题。 Spring的KafkaConsumer侦听器是否可以通过一种方式一次侦听来自相同/一个分区的多个消息？

我通过设置setBatchListener(true);尝试了ConcurrentKafkaListenerContainerFactory setBatchListener(true); 但是使用者已经开始使用来自不同分区的多个消息，而不是一个。

public class BatchReceiverConfig {

    @Value("${kafka.bootstrap-servers}")
    private String bootstrapServers;

    @Bean
    public Map<String, Object> consumerConfigs() {
        Map<String, Object> props = new HashMap<>();

        props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, bootstrapServers);
        props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class);
        props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class);
        props.put(ConsumerConfig.GROUP_ID_CONFIG, "batch4");
        props.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest");
        // maximum records per batch receive
        props.put(ConsumerConfig.MAX_POLL_RECORDS_CONFIG, "10");

        return props;
    }

    @Bean
    public ConsumerFactory<String, String> consumerFactory() {
        return new DefaultKafkaConsumerFactory<>(consumerConfigs());
    }

    @Bean
    public ConcurrentKafkaListenerContainerFactory<String, String> kafkaListenerContainerFactory() {
        ConcurrentKafkaListenerContainerFactory<String, String> factory =
                new ConcurrentKafkaListenerContainerFactory<>();
        factory.setConsumerFactory(consumerFactory());
        factory.setConcurrency(2);
        // enable batch listeners
//        factory.setBatchListener(true);

        return factory;
    }

    @Bean
    public BatchReceiver receiver() {
        return new BatchReceiver();
    }
}


/* Listener */
@KafkaListener(id = "batch-listener", topics = TOPIC_TEST_BATCH)
    public void receive(List<String> data,
                        @Header(KafkaHeaders.RECEIVED_PARTITION_ID) List<Integer> partitions,
                        @Header(KafkaHeaders.OFFSET) List<Long> offsets) {

        LOGGER.info("start of batch receive");
        for (int i = 0; i < data.size(); i++) {
            LOGGER.info("received message='{}' with partition-offset='{}'", data.get(i),
                    partitions.get(i) + "-" + offsets.get(i));
            // handle message

            latch.countDown();
        }
        LOGGER.info("end of batch receive");
    }

Answer 1

假设组中只有一个使用者，则可以将该ConcurrentKafkaListener concurrencyLevel设置为n 。

Answer 2

如果您使用群组管理，Kafka将为您的使用者分配分区。 每个使用者（或使用并发时的线程）将获得0、1或更多分区，具体取决于有多少使用者和分区。

如果您希望特定用户仅从一个分区获取消息，则必须自己分配分区，而不是让Kafka进行分配。

如果使用并发容器； 您必须分配与并发相同数量的分区，因此每个线程仅获得一个分区。