處理 spark 運行時缺少執行程序內存異常

Question

我有一個 spark 應用程序，可能會出現意外數量的數據流入應用程序並在運行時陷入內存異常的情況。

我該如何處理這種情況。

Answer 1

當執行程序內存不足時會發生此錯誤。

錯誤消息：

Java.lang.OutOfMemory：GC 開銷

解決方案：通過設置來增加執行程序內存：

conf spark.executor.memory= <XY>g

同時增加隨機分區

spark.sql.shuffle.partitions = <XY>

Answer 2

由於內存錯誤實際上是致命的，並且無法在運行時更改執行程序內存設置，因此除了使用新的更高內存限制重新啟動應用程序之外，您無能為力。

Answer 3

您可以嘗試使用更高的執行程序內存再次運行您的作業，請嘗試以下配置參數。

--conf "spark.executor.memory=16g"

此外，如果您遇到相同的問題是驅動程序，您可以嘗試以下以增加驅動程序內存。

--conf "spark.driver.memory=16g"

希望這會有所幫助。

干杯！