AWS EMR 集群 - 擴展沒有將 dfs.replication 值從 1 更新為 2

Question

我配置了一個AWS EMR HBASE集群，其中包含1 master節點和1 core node (m5.xLarge)。 我的集群沒有任何“任務”節點，因為我計划僅將此集群用於存儲。 兩個盒子上的hdfs-site.xml文件都將dfs.replication設置為 1，這是有道理的。 然后我手動添加了 5 個core節點。 我希望 EMR 會根據他們的文檔將復制因子從 1 提高到 2 - https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-hdfs-config.html

據我所知，如果我在引導期間提供 6 個內核，EMR 會將復制因子設置為 2，但是在我的用例中，我在啟動並運行后手動擴展集群時呢？

Answer 1

看起來 EMR 不會自動執行。 擴展集群后，我需要通過手動重新配置實例組來重新配置復制因子 - https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-configure-apps-running-cluster.html

--instanceGroups.json 下面

 [
  {
  "InstanceGroupId":"<ig-1xxxxxxx9>",
  "Configurations":[
     {
        "Classification":"yarn-site",
        "Properties":{
           "yarn.nodemanager.disk-health-checker.enable":"true",
           "yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage":"100.0"
        },
        "Configurations":[]
     }
  ]
 }
]

aws emr modify-instance-groups --cluster-id <j-2AL4XXXXXX5T9> 
--instance-groups file://instanceGroups.json