如何解決 EMR Spark Out Of Memory 錯誤

Question

我有一個要在 EMR 上執行的 Spark 作業。 它給我以下錯誤：

java.lang.OutOfMemoryError: Java heap space
-XX:OnOutOfMemoryError="kill -9 %p"
Executing /bin/sh -c "kill -9 22611"...

我什至對 10 個 m5.12xlarge 類型的核心實例進行了嘗試，但仍然存在相同的問題。 我的代碼運行良好，因為我已經通過 AWS Glue 對其進行了測試，並且在 G1.X 和 20 個 DPU 上取得了成功（大約需要 3 個小時才能完成工作）。 關於我如何選擇 EMR 實例類型的任何建議？

Answer 1

因此，僅更改實例類型並不總是有幫助，我們還需要使用 spark 配置。 我遵循了此處提到的內容，並且在 EMR 上成功完成了工作。