如何使用from_json與Kafka connect 0.10和Spark Structured Streaming？

Question

我試圖重現[Databricks] [1]中的示例並將其應用於Kafka的新連接器並激發結構化流媒體，但我無法使用Spark中的開箱即用方法正確解析JSON ...

注意：該主題以JSON格式寫入Kafka。

val ds1 = spark
          .readStream
          .format("kafka")
          .option("kafka.bootstrap.servers", IP + ":9092")
          .option("zookeeper.connect", IP + ":2181")
          .option("subscribe", TOPIC)
          .option("startingOffsets", "earliest")
          .option("max.poll.records", 10)
          .option("failOnDataLoss", false)
          .load()

以下代碼不起作用，我相信這是因為列json是一個字符串而且與from_json簽名方法不匹配...

    val df = ds1.select($"value" cast "string" as "json")
                .select(from_json("json") as "data")
                .select("data.*")

有小費嗎？

[更新]工作示例： https ： //github.com/katsou55/kafka-spark-structured-streaming-example/blob/master/src/main/scala-2.11/Main.scala

Answer 1

首先，您需要為JSON消息定義架構。 例如

val schema = new StructType()
  .add($"id".string)
  .add($"name".string)

現在您可以在from_json方法中使用此模式，如下所示。

val df = ds1.select($"value" cast "string" as "json")
            .select(from_json($"json", schema) as "data")
            .select("data.*")