如何在控制台中执行 writeStream a dataframe？ （Scala Spark 流媒体）

Question

我想调试我的笔记本，因此我需要在笔记本控制台模式下打印出流数据。 我有两个问题：1-是否可以这样做：

df.writeStream.format("console").start().awaitTermination()

2- 如果是，我在哪里可以看到 output？

这是 10 分钟后...没有错误或结果

谢谢！

Answer 1

我弄清楚我的问题是什么。 我必须在我的方法中添加“.outputMode(“append”)” 。 这是它的样子：

def writeStreamData(dataFrame: DataFrame): Unit = {
        /**
         * write the given dataframe into a file or console
         :params: dataframe
         */
        dataFrame.writeStream
            .format("console")
            .outputMode("append")
            .start()
            .awaitTermination()
    }