閱讀Spark批處理作業中的Kafka主題

Question

我正在編寫一個從Kafka主題讀取的Spark（v1.6.0）批處理作業。
為此，我可以使用org.apache.spark.streaming.kafka.KafkaUtils#createRDD ，我需要為所有分區設置偏移量，還需要將它們存儲在某個位置（ZK，HDFS？），以了解從何處開始下一批作業。

從批處理作業中讀取Kafka的正確方法是什么？

我也在考慮編寫流作業，該作業從auto.offset.reset=smallest讀取， auto.offset.reset=smallest檢查點保存到HDFS，然后在下一次運行中從此開始。

但是在這種情況下，我如何只提取一次並在第一批處理后停止流傳輸？

Answer 1

createRDD是從kafka讀取批處理的正確方法。

要查詢有關最新/最早可用偏移量的信息，請查看KafkaCluster.scala方法getLatestLeaderOffsets和getEarliestLeaderOffsets 。 該文件是private文件，但應在最新版本的spark中public 。