结构化流调试输入

Question

我有办法打印出传入的数据吗？ 例如，我在一个文件夹中有一个readStream在寻找JSON文件，但是由于在聚合输出中看到“空”，因此似乎存在问题。

val schema = StructType(
      StructField("id", LongType, false) ::
      StructField("sid", IntegerType, true) ::
      StructField("data", ArrayType(IntegerType, false), true) :: Nil)

val lines = spark.
      readStream.
      schema(schema).
      json("in/*.json")

val top1 = lines.groupBy("id").count()

val query = top1.writeStream
      .outputMode("complete")
      .format("console")
      .option("truncate", "false")
      .start()

Answer 1

要打印数据，可以在写入流中添加queryName，方法是使用该queryName进行打印。

在你的例子中

val query = top1.writeStream
      .outputMode("complete")
      .queryName("xyz")
      .format("console")
      .option("truncate", "false")
      .start()

运行此命令，即可使用SQL查询显示数据

%sql select * from xyz 

或者您可以创建数据框

val df = spark.sql("select * from xyz")