Spring Boot中多個Kafka集群上的多個KafkaConsumer

Question

想要使用spring-kafka在Spring引導應用程序中的不同集群上創建homogeneous kafka consumers 。

即想為已經定義的類創建一個Kafka Consumer對象，該對象監聽動態定義的多個集群。

例如：假設一個Spring引導應用程序S包含template for kafkaconsumer的template for kafkaconsumer 。 並且有三個Kafka群集custer1，cluster2，cluster3。 應用程序S充當從每個集群產生的數據的聚合器。 在這里，解決方案是同一模板的三個consumers將parallel偵聽單個群集。

使用spring-kafka是否可以實現上述方案？

Answer 1

@KafkaListener無法與多個群集通信。 您將需要委托給真正的偵聽器...

@KafkaListener(..., containerFactory="cluster1Factory")
public void listen1(...) {
    this.delegate.listen(...);
}

@KafkaListener(..., containerFactory="cluster2Factory")
public void listen2(...) {
    this.delegate.listen(...);
}

etc.