Apache Spark：如何在Python 3中使用pyspark

Question

我从GH开发大师那里构建了Spark 1.4，并且构建很顺利。 但是当我做bin/pyspark我得到了Python 2.7.9版本。 我怎么能改变这个？

Answer 1

只需设置环境变量：

export PYSPARK_PYTHON=python3

如果您希望将其作为永久性更改，请将此行添加到pyspark脚本中。

Answer 2

PYSPARK_PYTHON=python3 
./bin/pyspark

如果你想在IPython Notebook中运行，请写：

PYSPARK_PYTHON=python3 
PYSPARK_DRIVER_PYTHON=ipython 
PYSPARK_DRIVER_PYTHON_OPTS="notebook" 
./bin/pyspark

如果无法访问python3则需要将路径传递给它。

请记住， 当前的文档（从1.4.1开始）已经过时了。 幸运的是， 它已被修补 。

Answer 3

1，编辑个人资料： vim ~/.profile

2，将代码添加到文件中： export PYSPARK_PYTHON=python3

3，执行命令： source ~/.profile

4，。/ ./bin/pyspark

Answer 4

看看文件。 shebang行可能指向'env'二进制文件，它在路径中搜索第一个兼容的可执行文件。

你可以将python改为python3。 更改env直接使用硬编码的python3二进制文件。 或者直接用python3执行二进制文件并省略shebang行。

Answer 5

对于Jupyter Notebook，请从命令行编辑spark-env.sh文件，如下所示

$ vi $SPARK_HOME/conf/spark-env.sh

转到文件的底部并复制粘贴这些行

export PYSPARK_PYTHON=python3
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS="notebook"

然后，只需运行以下命令即可在笔记本中启动pyspark

$ pyspark