Quarkus 卡夫卡并发

Question

我使用 quarkus 处理来自具有 4 个分区的 Kafka 主题的传入消息。 当我接收到该主题的多条消息时，我看到 quarkus-kafka-consumer-code 按顺序一一处理消息。

下面是我处理传入消息的逻辑。 拥有 4 个分区的主题应该processEvent方法并行处理 4 条消息，因为我只运行此消费者应用程序的一个实例。 我错过了什么吗？

@Incoming("topic-1")
@Retry(delay = 3, maxRetries = 3, retryOn = { MyException.class })
@NonBlocking
public CompletionStage<Void> processEvent(KafkaRecordBatch<String, String> payload) {
    Multi.createFrom().iterable(payload.getRecords())
            .onItem().transform(EventProcessor1::newLogEvent).filter(l -> !l.isEmptyEvent())
            .onItem()
            .transform(this::processEvent).onItem().transformToUniAndConcatenate(this::process2).collect().with(Collectors.counting())
            .subscribe().with(c -> {
                log.info("completed {} events", c);
            });

   return payload.ack().whenCompleteAsync((s, e) -> {
        if (e != null) {
            throw new RuntimeException(e);
        }
        log.debug("batch processed & comitted successfully");
    });
            });
} 

Answer 1

您可以配置应同时使用的分区数。 配置如下所示：

mp.messaging.incoming.my-channel.connector=smallrye-kafka
mp.messaging.incoming.my-channel.xxx=xxx
mp.messaging.incoming.my-channel.partitions=4

partitions配置属性默认为1 ，这就是您所看到的。

有关详细信息，请参阅https://smallrye.io/smallrye-reactive-messaging/3.18.0/kafka/receiving-kafka-records/#configuration-reference 。