是否可以從 Databricks 中讀取本地 excel 文件？

Question

我能夠在 Databricks 中讀取 xlsx 文件，但只有在將文件上傳到 blob 存儲之后。

下面的代碼工作正常：

input_file = pd.read_excel("/dbfs/mnt/container_name/folder_name/input_file.xlsx")

有沒有辦法直接從本地存儲庫讀取 xlsx 文件？

理想情況下，我正在尋找類似於以下的代碼：

input_file = pd.read_excel("file:///C:/Users/XXX111/folder_name/input_file.xlsx")

收到錯誤：

URLError: <urlopen error [Errno 2] No such file or directory: '/C:/Users/XXX111/folder_name/input_file.xlsx'>

該文件的位置在 C:\Users\XXX111\folder_name 中。

Answer 1

簡短的回答：是的，這是可能的，但不是你想要的方式，盡管不推薦。

這很難，但是：

1 - 您需要在虛擬網絡中創建 Databrick 的工作區，然后考慮到以下鏈接中描述的所有要求，將該網絡與本地網絡對等：

https://docs.azuredatabricks.net/administration-guide/cloud-configurations/azure/vnet-inject.html

2 - 之后，您必須安排數據在本地網絡中變得可訪問，例如本地可共享文件系統 sharepoint、一個驅動器或任何 FS。

3 - 因此，這將使 Databrick 的 VM 通過您的內部路由訪問您的文件。

但是，最好的辦法是通過數據可以本地到達的地方向 Databricks 提供數據，例如雲上的任何地方，例如 Azure DataLake、Azure Z9778840A0101CB30C982ZA 和 Storage 上的 4778840A0101CB30C982Z8B76。

這將為您帶來一些優勢，例如所有工作空間用戶 24/7 的可用性，更好地為您的算法的未來部署做好准備，並使用 RBAC 控制或其他訪問控制方式控制誰在本機訪問您的數據。