如何使用 sc.addPyFile() 在 pyspark 中導入 matplotlib python 庫？

Question

我在 python 上使用spark既從終端迭代啟動命令pyspark ，也用命令spark-submit pythonFile.py啟動整個腳本

我用於分析本地csv文件，因此不執行分布式計算。

我想使用庫matplotlib來繪制數據框的列。 導入 matplotlib 時出現錯誤ImportError: No module named matplotlib 。 然后我遇到了這個問題並嘗試了命令sc.addPyFile()但你找不到任何與 matplotlib 相關的文件，我可以在我的操作系統 (OSX) sc.addPyFile()遞給它。

出於這個原因，我創建了一個虛擬環境並安裝了 matplotlib。 在虛擬環境中導航，我看到沒有諸如marplotlib.py文件，因此我嘗試將整個文件夾sc.addPyFile("venv//lib/python3.7/site-packages/matplotlib")傳遞給它，但再次沒有成功.

我不知道我應該包含哪個文件或如何包含在這一點上，我沒有想法。

是否有一種簡單的方法可以在 spark 中導入matplotlib庫（使用 virtualenv 安裝或引用操作系統安裝）？ 如果是這樣，我應該通過命令sc.addPyFile()傳遞哪些*.py文件

我再次對分布式計算不感興趣：python 代碼將僅在我的機器上本地運行。

Answer 1

我在python上使用spark反復從終端啟動命令pyspark並使用命令spark-submit pythonFile.py啟動整個腳本

我用來分析本地csv文件，因此不執行分布式計算。

我想使用庫matplotlib來繪制數據框的列。 導入matplotlib時，出現錯誤ImportError: No module named matplotlib 。 然后，我遇到了這個問題，並嘗試了命令sc.addPyFile()但是您找不到與matplotlib相關的任何文件，可以在OS（OSX）上將其傳遞給它。

因此，我創建了一個虛擬環境，並在其中安裝了matplotlib。 在虛擬環境中瀏覽時，我發現沒有諸如marplotlib.py文件，因此我嘗試將整個文件夾sc.addPyFile("venv//lib/python3.7/site-packages/matplotlib")傳遞給它，但同樣沒有成功。

我不知道我應該包括哪個文件，或者現在還不知道該怎么辦，所以我沒有足夠的想法了。

有沒有簡單的方法可以在spark內部導入matplotlib庫（使用virtualenv安裝或參考OS安裝）？ 如果是這樣，我應該將哪些*.py文件傳遞給命令sc.addPyFile()

再次，我對分布式計算不感興趣：python代碼將僅在我的計算機上本地運行。

Answer 2

我在python上使用spark反復從終端啟動命令pyspark並使用命令spark-submit pythonFile.py啟動整個腳本

我用來分析本地csv文件，因此不執行分布式計算。

我想使用庫matplotlib來繪制數據框的列。 導入matplotlib時，出現錯誤ImportError: No module named matplotlib 。 然后，我遇到了這個問題，並嘗試了命令sc.addPyFile()但是您找不到與matplotlib相關的任何文件，可以在OS（OSX）上將其傳遞給它。

因此，我創建了一個虛擬環境，並在其中安裝了matplotlib。 在虛擬環境中瀏覽時，我發現沒有諸如marplotlib.py文件，因此我嘗試將整個文件夾sc.addPyFile("venv//lib/python3.7/site-packages/matplotlib")傳遞給它，但同樣沒有成功。

我不知道我應該包括哪個文件，或者現在還不知道該怎么辦，所以我沒有足夠的想法了。

有沒有簡單的方法可以在spark內部導入matplotlib庫（使用virtualenv安裝或參考OS安裝）？ 如果是這樣，我應該將哪些*.py文件傳遞給命令sc.addPyFile()

再次，我對分布式計算不感興趣：python代碼將僅在我的計算機上本地運行。

Answer 3

使用您的代碼創建一個 py 文件。 添加 pyfile 以觸發上下文。

import matplotlib.pyplot as plt
plt.<your operations>

將文件另存為 file.py。 將此添加到 sparkcontext

spark.sparkContext.addPyFile("file.py")