Apache Spark的設置不刪除工作線程上的臨時文件

Question

我正在嘗試調試一個問題，該問題是我正在使用spark-submit提交給Spark集群的Python文件和自定義包的導入錯誤。

這對於臨時保存正在運行的python代碼的臨時文件的結構確實很棒，但是它總是刪除臨時文件。

因此，有沒有一種方法可以阻止Spark刪除我在看到時刪除的臨時文件夾

INFO ShutdownHookManager: Deleting directory /mnt/tmp/spark-144e34d1-bd37-4d99-8fae-e4c0e5df

Answer 1

我知道的唯一方法是讓駕駛員入睡一段時間：

import time, sys
sys.stdout.write("going to sleep\n")
sys.stdout.flush()
time.sleep(600) # 10 minutes

當您在驅動程序日志中看到“ going to sleep消息時，您有10分鍾的時間會殺死上下文並刪除臨時數據。