如何在控制台中執行 writeStream a dataframe？ （Scala Spark 流媒體）

Question

我想調試我的筆記本，因此我需要在筆記本控制台模式下打印出流數據。 我有兩個問題：1-是否可以這樣做：

df.writeStream.format("console").start().awaitTermination()

2- 如果是，我在哪里可以看到 output？

這是 10 分鍾后...沒有錯誤或結果

謝謝！

Answer 1

我弄清楚我的問題是什么。 我必須在我的方法中添加“.outputMode(“append”)” 。 這是它的樣子：

def writeStreamData(dataFrame: DataFrame): Unit = {
        /**
         * write the given dataframe into a file or console
         :params: dataframe
         */
        dataFrame.writeStream
            .format("console")
            .outputMode("append")
            .start()
            .awaitTermination()
    }