在Spark批处理作业中从kafka读取（从OffOffset直到Offset）

Question

我在这个问题上看到，我们可以使用org.apache.spark.streaming.kafka.KafkaUtils#createRDD在火花批处理作业中从Kafka读取消息，但是此方法需要一个偏移范围，该范围需要一个'from offset'和'until offset'。 我从org.apache.spark.streaming.kafka.KafkaCluster#getLatestLeaderOffsets方法获取“从偏移量”，但是如何获取直到偏移量呢？ 我正在使用kafka-2.1.1-0.9.0.1

Answer 1

您可以使用GetOffsetShell来获取任何主题的最新偏移量

bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic myTopic --time -1

这将返回：

myTopic:12341:47841

这意味着47841是最新的话题偏移myTopic