如何在aws emr中為pyspark執行器設置環境變量？

Question

我有一個運行 pyspark 個應用程序的 AWS EMR 集群（或步驟，如它在 aws emr 中所稱）。

我想為 pyspark 應用程序設置環境變量，並將其放入集群配置中（經過一些谷歌搜索后）：

[
  {
    "Classification": "spark-defaults",
    "Properties": {
      "spark.executorEnv.MY_ENV": "some-value"
    }
  }
]

通過環境變量在 pyspark 進程中不可用。

我也試過：

[
  {
    "Classification": "yarn-env",
    "Properties": {},
    "Configurations": [
      {
        "Classification": "export",
        "Properties": {
          "MY_ENV": "some-value",
        }
      }
    ]
  }
]

然后 output 環境變量通過：

print(os.environ)

MY_ENV在任何情況下都不會出現。

如何將環境變量傳遞到我的 pyspark 應用程序？

Answer 1

你能試着把它放在spark-env中嗎？

[
{
   "Classification": "spark-env",
   "Properties": {},
   "Configurations": [
       {
         "Classification": "export",
         "Properties": {
             "MY_ENV": "some-value",
         }
       }
   ]
 }
]