Azure databricks 集群無法訪問已安裝的 adls2

Question

我遵循文檔azure-datalake-gen2-sp-access並在 databricks 中安裝了 ADLS2 存儲，但是當我嘗試從 GUI 中查看數據時，出現下一個錯誤：

Cluster easy-matches-cluster-001 沒有正確的憑據來查看內容。 請 select 另一個集群。

我沒有找到任何文檔，只有一些關於高級數據塊的東西，所以我只能使用高級數據塊資源訪問？

Edit1：我可以看到使用 dbutils 安裝的存儲。

Answer 1

掛載存儲帳戶后，請運行此命令檢查您是否對創建的掛載點具有數據訪問權限。

dbutils.fs.ls("/mnt/<mount-point>")

如果您可以掛載存儲但無法訪問，請檢查 ADLS2 帳戶是否分配了必要的角色。

我能夠復制相同的內容。 由於您使用的是 Azure Active Directory 應用程序，因此您也必須將“ Storage Blob Data Contributor ”角色分配給 Azure Active Directory 應用程序。

以下是在注冊的應用程序上授予 blob 數據貢獻者角色的步驟

1. Select 您的 ADLS 帳戶。 導航到訪問控制 (IAM)。 Select 添加角色分配。

2. Select 角色Storage Blob Data Contributor , Search 和 select 您注冊的 Azure Active Directory 應用程序和分配。

返回訪問控制 (IAM) 選項卡， search您的 AAD 應用並檢查訪問權限。

3.運行dbutils.fs.ls("/mnt/<mount-point>")確認訪問。

Answer 2

解決了卸載、掛載和重啟集群。 我關注了這個文檔： https://docs.microsoft.com/en-us/azure/databricks/kb/dbfs/remount-storage-after-rotate-access-key

Answer 3

如果您在檢查訪問控制時仍然遇到同樣的問題。 請執行下列操作。