如何將 env var 設置為 AWS EMR 主節點

Question

我想將 env 值設置為主節點。 例如，我想export AWS_ENV="poc" 。 有什么方法可以使用configuration.json而不是在bootstrapaction使用一行代碼

我嘗試使用 yarn-env.export、spark-env.export 但它們都不能滿足我的要求

[
    {
      "Classification": "spark-env",
      "Configurations": [
        {
          "Classification": "export",
          "Properties": {
            "AWS_ENV": "poc"
          }
        }
      ]
    }
  ]

Answer 1

這是一個有效的 emr 配置示例。 請記住，這只會在主節點上設置環境變量，而不是在執行器上。

{"classification":"spark-env", 
 "properties":{},
 "configurations":
  [
   {"classification":"export", 
    "properties":
     {"PYSPARK_PYTHON":"/opt/spark/venv/bin/python",
      "ENV_1":"val_1",
      "ENV_2":"val_2"
     },
    "configurations":[]
   }
  ]
 }
]

我能看到的唯一區別是 category classification:export缺少配置鍵。 試試下面的。

[
 {
  "Classification": "spark-env",
  "Configurations":
   [
    {"Classification": "export",
     "Properties":
      {"AWS_ENV": "poc"
      },
     "Configurations:[]
    }
   ]
 }
]