订阅每个主题分区

Question

多次订阅给定 Kafka 主题并从每个KafkaConsumer每个分区接收每条消息的规范方法是什么。

我现在正在做的是生成一个随机的 Uuid group.id以便每个订阅都是一个新组，但是鉴于这些订阅是短暂的（并且有很多订阅），Kafka 存储有关它们的元数据的开销可能有害。

实现这一目标的正确方法是什么？

Answer 1

好吧，拥有唯一的消费者组是确保在组内运行的消费者订阅所有分区并接收所有消息的方法。 这就是多个消费者组订阅同一个主题的目的。

我同意它要求您创建多个消费者组，这会产生元数据的开销。 但这一切都取决于您的用例要求是否需要单个/多个消费者组。

Answer 2

我相信这个问题的答案是使用assign()方法而不是subscribe() 。

通过此方法手动分配主题不使用消费者的组管理功能。

参考： https : //kafka.apache.org/26/javadoc/index.html? org/ apache/ kafka/ clients/ consumer/ KafkaConsumer.html