Spring Kafka：3 个应用程序 setConcurrency(1) 与 1 个应用程序 setConcurrency(3) 之间的区别

Question

关于卡夫卡与 Spring 卡夫卡并发的小问题请问。

我有一个 Kafka 主题theimportanttopic ，许多消息都通过它发送。 事实上，这个 Kafka 主题有三个分区。 （称他们为theimportanttopic-0 theimportanttopic-1 theimportanttopic-2）

众所周知，Kafka 不允许来自同一组的多个消费者消费来自同一分区的消息。 即，同一组中没有两个消费者可以从重要主题-0 消费。

我的Spring Kafka应用代码如下：

@Configuration
class KafkaConsumerConfig {

    @Bean
    public Map<String, Object> consumerConfigs() {
        Map<String, Object> props = new HashMap<>();
        props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "mykafka.com:9092");
        props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class);
        return props;
    }

    @Bean
    public ConsumerFactory<String, String> consumerFactory() {
        return new DefaultKafkaConsumerFactory<>(consumerConfigs());
    }

    @Bean
    public KafkaListenerContainerFactory<ConcurrentMessageListenerContainer<String, String>> kafkaListenerContainerFactory() {
        ConcurrentKafkaListenerContainerFactory<String, String> factory = new ConcurrentKafkaListenerContainerFactory<>();
        factory.setConsumerFactory(consumerFactory());
        factory.setConcurrency(1); //HERE
        return factory;
    }
}

@Component
class KafkaListenersExample {

    Logger LOG = LoggerFactory.getLogger(KafkaListenersExample.class);

    @KafkaListener(topics = "theimportanttopic", groupId = "uniquegroup")
    void listener(String data) {
        LOG.info(data);
        doSomethingImportantWithTheData(data);
    }
}

有了这个，我很难理解这两种结构之间的区别：

假设此应用程序已经 dockerized 并且云环境已准备就绪。

我可以为构造 1 提供 1CPU + 1G 内存 *3，或者为构造 2 提供 3CPU +3G 内存。

设计编号 1：此应用程序，因为它位于部署在云上的容器中，如 Kube.netes，所以启动它的三个实例。 根据定义，我将拥有三个“应用程序”，并且每个应用程序都将使用三个分区中的一个。

kubectl get pods
my-app-AaAaAaAaAa-AaAaA
my-app-BbBbBbBbBb-BbBbB
my-app-CcCcCcCcCc-CcCcC

（假设，my-app-AaAaAaAaAa-AaAaA 使用重要主题-0，my-app-BbBbBbBbBb-BbBbB 重要主题-1，my-app-CcCcCcCcCc-CcCcCtheimportanttopic-2）

设计编号 2：另一方面，我可以有一个，并且只有一个这个应用程序 my-app 在容器中，将并发设置为 3。（与上面相同的代码，只需更改一行）

    @Bean
    public KafkaListenerContainerFactory<ConcurrentMessageListenerContainer<String, String>> kafkaListenerContainerFactory() {
        ConcurrentKafkaListenerContainerFactory<String, String> factory =
                new ConcurrentKafkaListenerContainerFactory<>();
        factory.setConsumerFactory(consumerFactory());
        factory.setConcurrency(3);
        return factory;
    }

请问这两种设计有什么区别？

哪一个是首选，为什么？

这不是一个基于意见的问题。 我可以知道设计编号 1 和设计编号 2 之间的性能、成本、优缺点是什么吗？

谢谢

Answer 1

不同之处在于高可用性。

如果你有任何一个 pod，消耗了所有三个分区，并且它停止了，那么你需要在 k8s 中进行额外的配置以获得 RestartPolicy。

或者，有一个 maxContainers 为 3 的 ReplicaSet，然后 Kafka Consumer API 可以在其中任何一个启动/停止时重新平衡。

您还可以查看 KEDA，以根据消费者滞后自动缩放。