從 Azure Databricks 讀取 Azure Datalake Gen2 映像

Question

我正在處理存儲在 Azure Data Lake Gen2 中的.tif文件。 要打開使用該文件rasterio從Azure的Databricks。

例子：

當從數據湖讀取圖像文件時，作為spark.read.format("image").load(filepath)工作正常。

但試圖打開相同

with rasterio.open(filepath) as src:
    print(src.profile)

得到錯誤：

RasterioIOError: wasbs://xxxxx.blob.core.windows.net/xxxx_2016/xxxx_2016.tif: No such file or directory

任何線索做錯了什么？

更新：

正如 Axel R 所建議的，在 Databricks 文件系統上安裝了文件，但仍然遇到同樣的問題，無法從 rasterio 打開文件，但可以讀取為 df。

還嘗試通過為 Datalake 中的文件創建共享訪問簽名並嘗試通過 URI 訪問文件。 現在收到錯誤以下錯誤：

CURL error: error setting certificate verify locations:   CAfile: /etc/pki/tls/certs/ca-bundle.crt   CApath: none

為了進一步測試嘗試從網絡打開一個相同的文件@

filepath = 'http://landsat-pds.s3.amazonaws.com/c1/L8/042/034/LC08_L1TP_042034_20170616_20170629_01_T1/LC08_L1TP_042034_20170616_20170629_01_T1_B4.TIF'很好用。

Answer 1

我相信這是因為 rasterio 使用的是本地 API，並且只能從以 /dbfs/ 開頭的路徑讀取。

您是否可以掛載 blob 存儲？ 這將允許您使用 rasterio 訪問它，路徑以 /dbfs/mnt/ 開頭