結構化流調試輸入

Question

我有辦法打印出傳入的數據嗎？ 例如，我在一個文件夾中有一個readStream在尋找JSON文件，但是由於在聚合輸出中看到“空”，因此似乎存在問題。

val schema = StructType(
      StructField("id", LongType, false) ::
      StructField("sid", IntegerType, true) ::
      StructField("data", ArrayType(IntegerType, false), true) :: Nil)

val lines = spark.
      readStream.
      schema(schema).
      json("in/*.json")

val top1 = lines.groupBy("id").count()

val query = top1.writeStream
      .outputMode("complete")
      .format("console")
      .option("truncate", "false")
      .start()

Answer 1

要打印數據，可以在寫入流中添加queryName，方法是使用該queryName進行打印。

在你的例子中

val query = top1.writeStream
      .outputMode("complete")
      .queryName("xyz")
      .format("console")
      .option("truncate", "false")
      .start()

運行此命令，即可使用SQL查詢顯示數據

%sql select * from xyz 

或者您可以創建數據框

val df = spark.sql("select * from xyz")