火花驅動器的高可用性

Question

在紗線簇模式下運行spark應用程序，我的驅動程序似乎已重新啟動。 這導致從頭開始重新處理所有數據（我正在編寫幾個表並哈希一些數據，某些表已經完成）。

有沒有辦法防止這種情況發生並為驅動程序引入高可用性？

Answer 1

驅動程序已重新啟動的事實是Spark對HA的解釋。 發生錯誤時觸發重新啟動。

您可以使用以下屬性來控制嘗試次數

spark.yarn.maxAppAttempts

將其傳遞給作業配置文件中的hadoop配置設置。