spark-submit python 文件並沒有找到模塊

Question

 spark-submit --master yarn-cluster --deploy-mode cluster test.py

以錯誤告終

import pandas as pd ImportError: No module named pandas

這是我看到的唯一錯誤。

使用 anaconda python 發行版 2.7 PYSPARK_VENV]/lib/python2.7/site-packages/位置有熊貓。

Answer 1

設置 PYSPARK_PYTHON 路徑應該可以解決這個問題：

使用以下方法檢查 pyspark 路徑： which pyspark

export PYSPARK_PYTHON=/pyspark/path/from/above

Answer 2

您可以檢查[PYSPARK_VENV]/lib/python2.7/site-packages/文件夾中是否安裝了pandas 。 看起來您正在另一個 python 解釋器上執行您的 pyspark 應用程序。 請確保您已經為該解釋器安裝了 pandas 包。

在這些 knida 情況下，您可以使用 Anaconda 來管理 python 包。