我正在嘗試直接連接到 abfss（不安裝到 DBFS）並嘗試在 databricks 中使用 open() 打開 json 文件

Question

我正在嘗試直接連接到 abfss（不安裝到 DBFS）並嘗試使用數據塊中的 open() 方法打開 json 文件。

json_file = open("abfss://@.dfs.core.windows.net/test.json') databricks 無法打開 azure blob 容器中存在的文件並出現以下錯誤：FileNotFoundError：[Errno 2] 沒有此類文件或目錄：'abfss://@.dfs.core.windows.net/test.json'

我已經使用服務主體完成了所有配置設置。 請建議使用 abfss 直接路徑打開文件的其他方式。

Answer 1

open方法僅適用於本地文件——它對abfss或其他雲存儲一無所知。 您有以下選擇：

1. 使用dbutils.fs.cp將文件從 ADLS 復制到驅動節點的本地磁盤，然后使用它，例如： dbutils.fs.cp("abfss:/....", "file:/tmp/my-copy")
2. 使用Azure SDK將文件從 ADLS 復制到驅動程序節點

第一種方法比第二種方法更容易使用