在EMR群集上運行Spark作業時發生異常“ java.io.IOException：所有數據節點均損壞”

Question

我們擁有AWS EMR設置來處理用Scala編寫的作業。 我們能夠在小型數據集上運行作業，但是在大型數據集上運行相同作業時，出現異常“ java.io.IOException：所有數據節點均損壞。”

Answer 1

將spark.shuffle.service.enabled設置為true可以為我解決此問題。

AWS EMR的默認配置已將spark.dynamicAllocation.enabled設置為true，但將spark.shuffle.service.enabled設置為false 。

spark.dynamicAllocation.enabled允許Spark將執行程序動態分配給其他任務。 如果將spark.shuffle.service.enabled設置為false ，則將禁用外部隨機播放服務，並且數據僅存儲在執行程序上。 重新分配執行程序后，數據將丟失，並且出現異常“ java.io.IOException：所有數據節點均損壞”。 引發數據請求。