在 QDS 上運行命令時如何更改超時值

Question

我有一個調用我的 python 腳本的 spark-submit 命令。 代碼運行超過 36 小時，但是由於 36 小時的 QDS 超時限制，我的命令在 36 小時后被終止。

有人可以幫我如何將此參數值更改為設置為 50 小時嗎？ 這就是我在 QDS 中調用腳本的方式

/usr/lib/spark/bin/spark-submit s3:///abc.py

Answer 1

我們不能將時間限制配置為超過 36 小時限制。 但是我們可以取消對 spark 命令的這個限制。為了從分析/筆記本運行 Spark 應用程序，您需要在集群啟動之前執行以下操作：

在 Hadoop 配置覆蓋中編輯集群配置並更新以下配置

yarn.resourcemanager.app.timeout.minutes=-1

在 Spark Configuration Overrides 中編輯集群配置並更新以下配置

spark.qubole.idle.timeout=-1 

請讓我知道這可不可以幫你。 此外，如果您沒有運行流式應用程序，並且您的 spark 應用程序正在處理/訪問的數據並不龐大，那么您可能還希望通過一些性能調整來減少應用程序的運行時間（從而可能會減少運行時間您的應用程序的時間少於 36 小時），在這種情況下不需要刪除這個 36 小時的限制。