aws emr無法在bootstrap上更改默認的pyspark python

Question

我正在使用aws與emr，並嘗試更改為bootstrap腳本，以便將pyspark中的默認python設置為python 3，我正在關注本教程

這是改變/usr/lib/spark/conf/spark-env.sh文件，但是沒有改變pyspark中的python版本，我仍然使用python 2.7完成工作。 這只適用於我ssh到機器並專門使用

$source /usr/lib/spark/conf/spark-env.ssh

當我嘗試將此行添加到引導程序腳本時，我收到引導程序錯誤，指出找不到該文件。

/ bin / bash：/usr/lib/spark/conf/spark-env.sh：沒有這樣的文件或目錄

我假設該階段不存在該文件。 如何在引導腳本中將pyspark python設置為python 3？

Answer 1

將以下代碼添加到軟件配置中（創建emr - > step1：軟件和步驟 - >編輯軟件配置 - >輸入配置）

[
  {
     "Classification": "spark-env",
     "Configurations": [
       {
         "Classification": "export",
         "Properties": {
            "PYSPARK_PYTHON": "/usr/bin/python3"
          }
       }
    ]
  }
]