如何知道亞馬遜emr集群上的mapred-site值？

Question

我遇到了內存問題，所以我查找了參數的默認值，如：

mapreduce.map.memory.mb
mapreduce.reduce.memory.mb
mapreduce.map.java.opts

在亞馬遜文檔上，並發現默認值很低。 所以，我在創建這樣的EMR集群時添加了一個配置：

classification=mapred-site,properties=[mapreduce.map.memory.mb=4096,mapreduce.reduce.memory.mb=4096,mapreduce.map.java.opts=-Xmx3072m]

並創建了集群。 現在，我如何檢查這些值是否確實更新？

Answer 1

您可以按照以下任一方式查找mapreduce配置詳細信息。

方法一：

• 登錄EMR的EC2實例
• 轉到mapreduce配置路徑（通常是/ etc / hadoop / conf）
• 打開mapred-site.xml並搜索您的屬性。

方法2：

• 轉到JobHistory UI（通常是http：// history-server-hostname：19888 / jobhistory ）
• 遍歷工具 - >配置

方法3：

• 希望您還可以從Amazon EMR控制台查看所有分類。