在 Spark 中讀取 Kafka 主題尾部

Question

我需要訂閱 Kafka 主題latest偏移量，讀取一些最新記錄，打印它們並完成。 我怎樣才能在 Spark 中做到這一點？ 我想我可以做這樣的事情

sqlContext
    .read
    .format("kafka")
    .option("kafka.bootstrap.servers", "192.168.1.1:9092,...")
    .option("subscribe", "myTopic")
    .option("startingOffsets", "latest")
    .filter($"someField" === "someValue")
    .take(10)
    .show

Answer 1

您需要提前知道要從 Kafka 消費哪些分區中的哪些偏移量。 如果您有這些信息，您可以執行以下操作：

// Subscribe to multiple topics, specifying explicit Kafka offsets
val df = spark
  .read
  .format("kafka")
  .option("kafka.bootstrap.servers", "192.168.1.1:9092,...")
  .option("subscribe", "myTopic")
  .option("startingOffsets", """{"myTopic":{"0":20,"1":20}}""")
  .option("endingOffsets", """{"myTopic":{"0":25,"1":25}}""")
  .load()
df.selectExpr("CAST(key AS STRING)", "CAST(value AS STRING)")
  .as[(String, String)]
  .filter(...)

Kafka + Spark 集成指南中提供了有關startingOffsets endingOffsets和endingOffsets更多詳細信息