在 spark 批處理作業中讀取 Kafka 消息

Question

在 spark-batch 作業（在 EMR 上運行）中，每天閱讀來自 kafka 主題的最新消息的最佳選擇是什么？ 我不想使用 spark-streaming，因為沒有 24/7 全天候集群。 我看到kafka-utils的選項： https://mvnrepository.com/artifact/org.apache.spark/spark-streaming-kafka_2.11但是我看到最后一個版本是2016年的。它仍然是最好的選擇嗎？

謝謝！

- - - - - - - - - - - 編輯 - - - - - - -

感謝您的回復，我試過這個 JAR：

   'org.apache.spark', name: 'spark-sql-kafka-0-10_2.12', version: '2.4.4'

在 EMR 上運行它：scalaVersion = '2.12.11' sparkVersion = '2.4.4'

使用以下代碼：

 val df = spark
      .read
      .format("kafka")
      .option("kafka.bootstrap.servers", "kafka-utl")
      .option("subscribe", "mytopic")
      .option("startingOffsets", "earliest")
      .option("kafka.partition.assignment.strategy","range")  //added it due to error on missing default value for this param
      .load()


      df.show()

我想閱讀每一批，kafka 中所有可用的消息。 該程序因以下錯誤而失敗：

21/08/18 16:29:50 WARN ConsumerConfig: The configuration auto.offset.reset = earliest was supplied but isn't a known config.

    Exception in thread "Kafka Offset Reader" java.lang.NoSuchMethodError: org.apache.kafka.clients.consumer.KafkaConsumer.subscribe(Ljava/util/Collection;)V
        at org.apache.spark.sql.kafka010.SubscribeStrategy.createConsumer(ConsumerStrategy.scala:63)
        at org.apache.spark.sql.kafka010.KafkaOffsetReader.consumer(KafkaOffsetReader.scala:86)
        at org.apache.spark.sql.kafka010.KafkaOffsetReader.$anonfun$fetchTopicPartitions$1(KafkaOffsetReader.scala:119)
        at scala.concurrent.Future$.$anonfun$apply$1(Future.scala:659)
        at scala.util.Success.$anonfun$map$1(Try.scala:255)
        at scala.util.Success.map(Try.scala:213)
        at scala.concurrent.Future.$anonfun$map$1(Future.scala:292)
        at scala.concurrent.impl.Promise.liftedTree1$1(Promise.scala:33)
        at scala.concurrent.impl.Promise.$anonfun$transform$1(Promise.scala:33)
        at scala.concurrent.impl.CallbackRunnable.run(Promise.scala:64)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
        at org.apache.spark.sql.kafka010.KafkaOffsetReader$$anon$1$$anon$2.run(KafkaOffsetReader.scala:59)

我做錯了什么？ 謝謝。

Answer 1

您正在查看舊的 spark-kafka package。

試試這個https://mvnrepository.com/artifact/org.apache.spark/spark-streaming-kafka-0-10

或者， spark-sql-kafka-0-10