使用 scala 2.12 獲取 kafka 主題中的分區數

Question

使用 scala 2.11 和 spark-streaming-kafka-0-8_2.11 我可以

import org.apache.spark.streaming.kafka.KafkaCluster

val params = Map[String, Object](
  "bootstrap.servers" -> "localhost:9092",
  "key.deserializer" -> classOf[StringDeserializer],
  "value.deserializer" -> classOf[StringDeserializer],
  "group.id" -> "my_group_id",
  "auto.offset.reset" -> "latest",
  "enable.auto.commit" -> (false: java.lang.Boolean)
)
val topicsSet = Array("topicA", "topicB")
val kafkaCluster = new KafkaCluster(params)
val kafkaPartitions = kafkaCluster.getPartitions(topicsSet).right.get
val kafkaPartitionsCount = kafkaPartitons.size

現在 scala 2.12 和 spark-streaming-kafka-0-10_2.12 沒有 KafkaCluster。 如何遷移這段代碼以查找主題分區的數量？

Answer 1

為此，您不需要 Spark。 您可以使用KafkaConsumer.listTopics()將主題名稱的 Map 獲取到分區列表。