EMR 引導操作何時運行

Question

我正在創建一個 AWS 集群，並且我有一個引導操作來更改 spark-defaults.conf。

服務器不斷被終止說

無法讀取 /etc/spark/conf/spark-defaults.conf: 沒有那個文件或目錄

雖然如果我跳過這個並在服務器上檢查文件確實存在。 所以我認為事情的順序是不正確的。 我通過提供的 EMR 4.5 使用 Spark 1.6.1，所以它應該默認安裝。

有什么線索嗎？

謝謝！

Answer 1

您不應在引導操作中更改 Spark 配置。 相反，您應該在啟動集群時需要添加的特殊json文件中指定對spark-defaults任何更改。 如果您使用cli啟動，該命令應如下所示：

 aws --profile MY_PROFILE emr create-cluster \
 --release-label emr-4.6.0 \
 --applications Name=Spark Name=Ganglia Name=Zeppelin-Sandbox \
 --name "Name of my cluster" \
 --configurations file:///path/to/my/emr-configuration.json \
 ...
 --bootstrap-actions ....
 --step ...

在emr-configuration.json文件中，然后將更改設置為spark-defaults 。 一個例子可能是：

[
  {
    "Classification": "capacity-scheduler",
    "Properties": {
      "yarn.scheduler.capacity.resource-calculator": "org.apache.hadoop.yarn.util.resource.DominantResourceCalculator"
    }
  },
  {
    "Classification": "spark",
    "Properties": {
      "maximizeResourceAllocation": "true"
    }
  },
  {
    "Classification": "spark-defaults",
    "Properties": {
      "spark.dynamicAllocation.enabled": "true",
      "spark.executor.cores":"7"
    }
  }
]

Answer 2

實現此目標的最佳方法是在 CloudFormation 模板中使用 Steps 定義，例如……因為 Steps 將特別在您的主節點上運行，該節點包含 spark-default.conf 文件。