使用帶有EMR火花的terraform，添加新步驟而不破壞群集

Question

我正在使用terraform文檔（ https://www.terraform.io/docs/providers/aws/r/emr_cluster.html ）來構建EMR（火花）集群。 我正在考慮通過使用Terraform的步驟來部署Spark作業。

火花提交將是這樣的..

spark-submit --deploy-mode cluster --class mypackage.myobject s3://.../my.jar

添加新步驟或更改步驟時，是否有人嘗試過使用此功能並獲得地形以不破壞群集？ 理想情況下，執行的步驟應該是唯一破壞和創建的步驟。

Answer 1

簡單的答案是，API將某些動作定義為需要銷毀。.terraform對此無能為力。

我相信這是cloudwatch APIS的局限性。

Answer 2

您可能需要更改生命周期ignore_changes屬性以包括要更改的內容

resource "aws_emr_cluster" "example" {
  # ... other configuration ...

  step {
    action = "TERMINATE_CLUSTER"
    name   = "Setup Hadoop Debugging"

    hadoop_jar_step {
      jar  = "command-runner.jar"
      args = ["state-pusher-script"]
    }
  }

  # Optional: ignore outside changes to running cluster steps
  lifecycle {
    ignore_changes = ["step"]
  }
}

該代碼摘自https://www.terraform.io/docs/providers/aws/r/emr_cluster.html#enable-debug-logging的示例