如何在 spark kafka 流中创建消费者组并将消费者分配给消费者组

Question

我有一个名为 topic_1 的主题并创建了 4 个分区。 我需要在 Kafka Spark 流中并行读取。 所以我需要制作一个消费者群体和消费者。

你能帮助我怎么做吗？

现在 Kafka Spark 流，一次从 Kafka 接收一个请求。

Answer 1

假设您使用 Spark 的KafkaUtils ，它会自动利用 Spark Executor 的数量 * 每个 Executor 的核心数。

因此，如果您有 2 个 Spark Executor，每个 Executor 有 2 个核心，Spark 将自动并行消耗 4 个主题分区。

在 Kafka Spark Streaming 集成中，输入任务的数量由主题中的分区数量决定。 如果您的主题有 4 个分区，Spark Streaming 将为每个批次生成 4 个任务。

如果您有 1 个 Executor 和 1 个核心，那么核心将依次执行 4 个任务（无并行性）。 而如果您有 2 个 Executor，每个 Executor 有 1 个核心，那么每个核心将依次执行 2 个任务（因此并行度为 2）。

对于 4 个分区，您应该配置以下任何一项，以实现最大消费者并行度：

• 1 个 4 核 Executor
• 2 个 Executor，每个有 2 个内核
• 4 个 Executor，每个 1 个核心