使用yarn cluster模式提交spark應用

Question

我編寫了一個 shell 腳本，該腳本調用 spark-smit 以使用yarn cluster模式向紗線提交應用程序。 當應用程序啟動時，客戶端進程（提交應用程序的進程）會被終止嗎？

也就是說，當應用程序啟動時，我關閉了運行客戶端進程的機器，正在運行的應用程序是否會不受影響並繼續運行？

Answer 1

如果--deploy-mode是cluster ，Driver 將在 yarn cluster 中運行，並且 Spark 作業將運行，即使作業觸發的客戶端機器出現故障。

如果--deploy-mode是client ，驅動程序將在作業觸發的客戶端機器上運行，如果客戶端機器出現故障，Spark 作業將被終止。

application started的客戶端進程在這兩種情況下都不會終止，它只會繼續在控制台上打印日志。