將 onprem 數據存儲安裝到 Azure Databricks dbfs

Question

我正在尋找一種掛載本地存儲的解決方案，該存儲位於本地 hadoop 集群上，可以與數據塊一起使用以直接掛載到 dbfs:///，而不是加載到 azure blob 存儲，然后將其掛載到數據塊。 這里的任何建議都會有所幫助。 謝謝你

我在研究方面，但仍然沒有想出解決方案。 即使沒有 azure 存儲帳戶，我也不確定是否可行。

Answer 1

不幸的是，不支持將 Prem 數據存儲安裝到 Azure Databricks。

您可以嘗試這些替代方法：

方法一：

連接遠程數據塊上的本地文件會激發集群使用 DBFS 訪問本地文件。 請參閱此MS 文檔。

方法二：

或者使用 azure Databricks CLI 或 REST API並將本地數據推送到 DBFS 上的某個位置，在那里可以從 Databricks notebook 將其讀入 Spark。

有關更多信息，請參閱 Vikas Verma 的博客