如何在計算機上的python2和3上運行PySpark / spark？

Question

我有適用於python 2.7的Spark / Pyspark。

我的電腦上也有python 3.6。

如何獲得自動在python3.6上運行的spark / pyspark？

Spark / pyspark目前僅在我的計算機上運行2.7

Answer 1

采用：

• PYSPARK_PYTHON環境變量，用於為執行程序設置Python解釋器。
• PYSPARK_DRIVER_PYTHON環境變量，用於為驅動程序設置Python解釋。

PYSPARK_PYTHON應該在每個工作節點上設置。 最好使用$SPARK_HOME/conf/spark-env.sh ，即

$ cat $SPARK_HOME/conf/spark-env.sh

#!/usr/bin/env bash

PYSPARK_PYTHON={which python3.6}