Python 在 Azure Databricks 文件夾中查找其他 Python 腳本

Question

我正在運行 Microsoft Azure Databricks。 我想查找位於名為“tables”的文件夾中的文件。

當我在 Windows 10 計算機上的 Pycharm 中本地運行代碼時，該代碼正在運行。 但是，當我在 Databricks 中運行它時，它失敗了。

我的代碼：

import os
from os.path import isfile, join

working_dir = os.getcwd()
print(f"working dir = {working_dir}")
mypath = f"{working_dir}/tables"
files = [f for f in os.listdir(mypath) if isfile(join(mypath, f))]
for file in files:
    print(f"{file}")

Windows 10 中的輸出：

C:\Users\bruker\PycharmProjects\test\venv\Scripts\python.exe C:/Users/bruker/PycharmProjects/test/test.py
working dir = C:\Users\bruker\PycharmProjects\test
1
2

數據塊錯誤：

working dir = /databricks/driver
FileNotFoundError: [Errno 2] No such file or directory: '/databricks/driver/tables'

我可以在 Microsoft Azure Databricks 中看到這些文件。 該腳本從db-adapter運行：

Answer 1

使用 Databricks 中的workspace選項卡創建的筆記本都具有作為databricks/driver的工作目錄。 以下是我在workspace選項卡下創建的 python 腳本和當前工作目錄的輸出。

我已經復制了您的 repo 文件夾結構。 當您在筆記本repo_db-adapter_notebook中運行代碼時，您的工作目錄將是/Workspace/Repos/<repo_folder_structure>/dao 。

因此，請重新檢查並運行 repo 文件夾結構中dao文件夾中的 notebook 以獲得正確的輸出。