如何使用 Google 電子表格執行 Spark Streaming？

Question

我想構建一個將在本地運行並支持實時數據處理的應用程序，並且需要使用 python 構建。

需要實時提供的輸入，以谷歌電子表格的形式（多個用戶一次提供數據）。

此外，需要將代碼的實時輸出寫回相鄰列中的電子表格。

請幫助我。

謝謝

Answer 1

您可以使用spark-google-spreadsheets庫從 Spark 讀取和寫入 Google 表格， 如此處所述。

以下是如何將 Google Sheet 中的數據讀入 DataFrame 的示例：

val df = sqlContext.read.
    format("com.github.potix2.spark.google.spreadsheets").
    load("<spreadsheetId>/worksheet1")

增量更新將是艱難的。 您可能只想嘗試完全刷新。