databricks - 在終端 'export DATABRICKS_CONFIG_FILE="dbfs:/FileStore/tables/partition.csv' 中執行命令時無響應

Question

我正在嘗試按照本指南https://docs.databricks.com/dev-tools/cli/index.html導出 csv 文件，但是執行以下命令時沒有響應，看起來直接存在命令而不說導出成功或失敗。

我也按照指南在 mac 終端中輸入主機和令牌，完成了 cli 和設置身份驗證的安裝。

export DATABRICKS_CONFIG_FILE="dbfs:/FileStore/tables/partition.csv"

請參考這個截圖： 首先，我通過以下代碼將 dataframe 寫入文件系統

df.coalesce(1).write.mode("overwrite").csv("dbfs:/FileStore/tables/partition.csv")

我怎樣才能成功地從數據塊中導出文件，它在本地存儲在哪里？

Answer 1

是的，您可以根據需要復制到本地機器或移動到另一個目的地

使用 azure 數據塊配置 azure CLI：

請按照以下步驟操作：

• pip install databricks-cli

• 使用databricks configure --token命令

• 提及 Azure databricks主機名： https://adb-xxxxx.azuredatabricks.net/

• 過去你的個人訪問令牌。

現在全部設置為導出 CSV 文件並將其存儲在目標位置。

databricks fs cp dbfs:/FileStore/tables/partition.csv dbfs:/destination/your_folder/file.csv

databricks fs cp C:/folder/file.csv dbfs:/FileStore/folder

或者

CSV 如果一個文件夾中有很多文件。您更願意導出整個文件夾而不是單個文件。

使用-r到 select 您的文件夾而不是單個文件。

databricks fs cp -r  dbfs:/<folder>  destination/folder

python 中的替代方法：

可以直接使用dbutils.fs.cp("dbfs:/FileStore/gender_submission.csv","destination/folder")