如何從conda的site-package目錄中添加一個Python模塊進行Spark-Submit？

Question

我需要運行PySpark應用程序（v1.6.3）。 有--py-files標志可添加.zip，.egg或.py文件。 如果我在/usr/anaconda2/lib/python2.7/site-packages/fuzzywuzzy有一個Python軟件包/模塊，我將如何包括整個模塊？

在此目錄中，我確實注意到一些* .py和* .pyc文件。

• fuzz.py
• process.py
• StringMatcher.py
• string_processing.py
• utils.py

我是否必須一一包括這些內容？ 例如。

spark-submit \
 --py-files /usr/anaconda2/lib/python2.7/site-packages/fuzzywuzzy/fuzz.py,/usr/anaconda2/lib/python2.7/site-packages/fuzzywuzzy/process.py,/usr/anaconda2/lib/python2.7/site-packages/fuzzywuzzy/StringMatcher.py,/usr/anaconda2/lib/python2.7/site-packages/fuzzywuzzy/string_processing.py,/usr/anaconda2/lib/python2.7/site-packages/fuzzywuzzy/utils.py

有更容易的方法嗎？

• 我應該嘗試找到.egg或.zip並使用它（例如pypi ）嗎？
• 我可以壓縮該目錄並將其傳遞嗎？

任何提示或指示，將不勝感激。 實際上，我需要由conda管理的更多Python模塊。

Answer 1

我建議朝其他方向做。 使用pyspark將pyspark安裝到Anaconda：

conda install -c conda-forge pyspark=2.1.1