如何使用spark-env.sh.template在Python 3中设置Pyspark

Question

因为我的ipython3笔记本中存在此问题，所以我想我必须以某种方式更改“ spark-env.sh.template”。

例外：worker中的Python版本与驱动程序3.4中的版本不同，PySpark无法以其他次要版本运行

Answer 1

Spark尚不适用于Python3。如果您希望使用Python API，则还需要一个Python解释器（2.6版或更高版本）。

运行IPYTHON=1 ./pyspark时，我遇到了同样的问题。

好的快速修复

编辑vim pyspark并将PYSPARK_DRIVER_PYTHON="ipython"行更改为

PYSPARK_DRIVER_PYTHON="ipython2"

而已。

如果要检查ipython指向的位置，

which ipython终端which ipython ，我敢打赌

/Library/Frameworks/Python.framework/Versions/3.4/bin/ipython

**更新**

最新版本的spark可在python 3上很好地工作。因此，最新版本可能不需要。

只需设置环境变量：

export PYSPARK_PYTHON=python3

如果您希望此更改是永久的，请将此行添加到pyspark脚本中

Answer 2

我相信您可以分别指定两者，如下所示：

PYSPARK_PYTHON=/opt/anaconda/bin/ipython
PYSPARK_DRIVER_PYTHON=/opt/anaconda/bin/ipython