使用 databricks-connect 時在 dbfs 上打開文件

Question

我正在使用 databricks-connect 將我的本地 PyCharm IDE 連接到 Azure Databricks 集群。

在我嘗試在沒有 Spark 上下文的情況下訪問文件之前，這完全可以正常工作。

例如

dbutils.fs.put('dbfs:/tmp/test_file.txt','line_1')
with open('/dbfs/tmp/test_file.txt') as f:
  print(f.read())

直接在databricks筆記本中運行時工作正常。 當我嘗試通過 PyCharm 中的 databricks-connect 運行此代碼片段時，我收到 FileNotFoundError。 其他文件系統操作（shutil、gzip、...）也會發生這種情況。

我假設程序（“打開”）正在嘗試訪問運行 PyCharm 的本地客戶端上的文件系統，但我想要“打開”和類似的功能來訪問 dbfs。

有沒有辦法做到這一點？

Answer 1

open的 function 屬於 Python 文件 API，所以它只適用於本地文件，如果是 databricks-connect - 這是一個文件系統。 /dbfs/安裝點僅在集群節點上可用。