Spark任務（每個執行者）是否共享緩存位置？

Question

Do Spark使用相同的緩存位置為每個執行者存儲tmp文件

例如，如果我有兩個任務在一個執行程序中運行，並且兩個任務都創建了一個具有相同名稱的文件，是否會出現“文件存在”的錯誤？

Answer 1

我從另一個來源得到了答案，

它確實使用了相同的緩存位置（根據其spark local dirs屬性）和io tmp dir（用於Java東西），

如果通過創建文件來表示要添加文件（addFile），則可以通過將spark.files.overwrite設置為true來克服此問題，僅當當前文件與新添加的文件不同時，此方法才有效。