如何將文件從 Azure Databricks python 筆記本保存到 ADLS？

Question

有誰知道如何將數據塊筆記本中的屏幕截圖直接保存到 ADLS。 我已經建立了連接，但由於某種原因我不能直接這樣做所以我保存到 DBFS 然后將文件移動到 ADLS 目前這有效：

driver.save_screenshot('/dbfs/test.png')
dbutils.fs.mv('dbfs:/', 'abfss://<container>@<storage-account>.dfs.core.windows.net/', recurse=True)

理想情況下，我想一步完成，而不是保存在根存儲中，而不是像這樣移動：

driver.save_screenshot('abfss://<container>@<storage-account>.dfs.core.windows.net/test.png')
or
driver.save_screenshot('/abfss/<storage-account>/<container>/test.png')

最后，設置 Unity Catalog 和相應的 Metastore 是否有助於將 DBFS 根存儲位置更改為 ADLS，以便我可以直接使用容器而無需每次都指定鏈接？ 在這種情況下，最佳做法是什么？

非常感謝！

Answer 1

Databricks 將“abfss”視為外部路徑，因此某些函數僅考慮本地路徑來保存文件

我們必須提供“mnt 路徑”以將文件直接保存到ADLS中，而不是使用“abfss”路徑。

driver.save_screenshot('/mnt/Input_path/<foldername>/test.png')