在Spark集群上是否有一個參數可控制Spark作業的最小運行時間

Question

我的Spark程序將首先確定輸入數據路徑是否存在，如果不存在，則安全地退出。但是退出后，yarn將重試該作業一次。因此，我猜一個參數將控制該作業的最短運行時間。 在Spark-cluster上是否有一個參數可控制Spark作業的最小運行時間，即使任務成功但小於該時間，該參數也會觸發重試。

---------第一次編輯后--------------

我將重試次數設置為1，現在無需考慮重試次數。 只有一句話System.out.println('MyProgram'); 日志顯示一切正常，但是yarn認為這是失敗的工作。我非常困惑。

Answer 1

否。如果您的作業以零以外的退出狀態結束，則會發生重試。