Spark Databricks 本地文件 API

Question

我正在嘗試構建在 spark DataBricks 中完成的處理的摘要/報告。 我遇到了下面的一段代碼，它允許將數據寫入 dbfs 以及 ADLS（通過掛載點），但是當我將代碼打包在 jar 中並嘗試將其作為 DataBricks 作業執行時，問題出現了，我得到了文件未發現異常，現在想知道如何在不使用筆記本的情況下將數據寫入存儲。

    import java.io.File
    import java.io.PrintWriter

    val writer = new PrintWriter(new File("/dbfs/mnt/data/out-01/test-01"))
    writer.write("Hello Developer, Welcome to Programming.")
    writer.write("Hello Developer, Welcome to Programming 2.")
    writer.close()

我遇到了來自 DataBricks 的 DButils，但沒有看到任何我可以使用的示例代碼/文檔。 對此的任何幫助將不勝感激。

Answer 1

如果你的 notebook 是通過下圖創建的來掛載 ADLS，是的，你可以在你的數據塊的當前會話中直接將日期寫入 dbfs。

所以我認為在打包到 jar 文件的代碼中缺少 DBFS 掛載點的必要代碼。

請參考以下官方文檔，了解如何在代碼中直接訪問 ADLS v1 和 v2。

1. Azure Data Lake Storage Gen1
2. Azure Data Lake Storage Gen2

同時，如果沒有databricks 庫，您也可以使用ADLS SDK 和REST API 更改您的代碼，從而無需使用DBFS 編寫代碼並在databricks 中運行。