映射的子錯誤：AWS EMR實例終止

Question

當我運行中等類型的EMR實例時，在其中一個步驟中發現EMR實例終止了。 我在AWS實例中使用了5個實例。 它的容量是3.75 GB RAM。 我為mapred.child.java.opts屬性提供了3000 MB的堆大小。 我已經使用JobConf將其設置為conf.set（“ mapred.child.java.opts”，“ -Xmx3000m”）等給定參數。 我需要執行三個步驟來運行Amazon EMR程序。 在最后一步中，我遇到了java.lang.Throwable：Child Error這個問題。 工作失敗的原因是什么？ 子節點中的映射器所需的最佳堆大小也是多少。

Answer 1

除非您正在做一些特別的事情-3000M太高了。 您能否檢查每台機器正在運行多少個map任務hadoop？ 如果它運行不止一個，它將輕松吹走3.75GB的ram（無論如何，有些內核必須是免費的）。

我們提供hadoop即服務（Qubole）。 默認情況下是這里（和我以前的演出）-我們使用1024M作為默認值。 您需要將io.sort.mb設置得遠低於此值（例如400-500MB）。 僅當用戶正在執行某些特殊操作（例如大型地圖側聯接）時，才有理由對其進行改進。 如果必須增加它-我們將不得不減少每台機器的最大並發映射任務數（如果超過一台）。