ML 組件在指向 Azure Data Lake Store Gen2 的 Azure Databricks (7.3.9) 中不起作用

Question

I'm facing issues while trying to store Matplotlib graph in Azure Data Lake Store Gen2 by processing the Kmeans Elbow method from Local Pycharm pointing to Azure Databricks cluster.

對於下面的 ML 代碼示例，我收到了錯誤消息。

彎頭曲線：

import matplotlib.pyplot as plt

plt.savefig(graph_path, bbox_inches='tight')

Class shaded.databricks.azurebfs.org.apache.hadoop.fs.azurebfs.SecureAzureBlobFileSystem 未找到。 OSError：[Errno 22] 無效參數：'abfss://cluster-container@project.dfs.core.windows.net/project/output/Elbow-Curve-20210325-222650.png'

注意：當指向本地 spark 和本地文件夾結構時，代碼運行沒有任何問題，問題在於 Databricks 或 Azure Data Lake Store Gen2。

任何幫助深表感謝！

Answer 1

Matplotlib 對 ADLS 一無所知 - 它旨在與本地文件系統一起使用。 因此，要將圖像存儲在 ADLS 上，您需要執行以下操作：

1. 將圖像存儲在驅動程序的本地文件系統中，例如/tmp/my-image.png
2. 使用dbutils.fs.cp命令將映像復制到 ADLS，如下所示（有關詳細信息，請參閱文檔）：

dbutils.fs.cp("file:/tmp/my-image.png", graph_path)