使用 databricks-connect 时在 dbfs 上打开文件

Question

我正在使用 databricks-connect 将我的本地 PyCharm IDE 连接到 Azure Databricks 集群。

在我尝试在没有 Spark 上下文的情况下访问文件之前，这完全可以正常工作。

例如

dbutils.fs.put('dbfs:/tmp/test_file.txt','line_1')
with open('/dbfs/tmp/test_file.txt') as f:
  print(f.read())

直接在databricks笔记本中运行时工作正常。 当我尝试通过 PyCharm 中的 databricks-connect 运行此代码片段时，我收到 FileNotFoundError。 其他文件系统操作（shutil、gzip、...）也会发生这种情况。

我假设程序（“打开”）正在尝试访问运行 PyCharm 的本地客户端上的文件系统，但我想要“打开”和类似的功能来访问 dbfs。

有没有办法做到这一点？

Answer 1

open的 function 属于 Python 文件 API，所以它只适用于本地文件，如果是 databricks-connect - 这是一个文件系统。 /dbfs/安装点仅在集群节点上可用。