aws emr无法在bootstrap上更改默认的pyspark python

Question

我正在使用aws与emr，并尝试更改为bootstrap脚本，以便将pyspark中的默认python设置为python 3，我正在关注本教程

这是改变/usr/lib/spark/conf/spark-env.sh文件，但是没有改变pyspark中的python版本，我仍然使用python 2.7完成工作。 这只适用于我ssh到机器并专门使用

$source /usr/lib/spark/conf/spark-env.ssh

当我尝试将此行添加到引导程序脚本时，我收到引导程序错误，指出找不到该文件。

/ bin / bash：/usr/lib/spark/conf/spark-env.sh：没有这样的文件或目录

我假设该阶段不存在该文件。 如何在引导脚本中将pyspark python设置为python 3？

Answer 1

将以下代码添加到软件配置中（创建emr - > step1：软件和步骤 - >编辑软件配置 - >输入配置）

[
  {
     "Classification": "spark-env",
     "Configurations": [
       {
         "Classification": "export",
         "Properties": {
            "PYSPARK_PYTHON": "/usr/bin/python3"
          }
       }
    ]
  }
]