Spark提交作業在集群模式下失敗，但在Java中可用於本地HDFS中的copyToLocal

Question

我正在運行Java代碼，以在Spark提交中使用Spark集群模式將文件從HDFS復制到本地。 作業在本地運行時運行正常，但在群集模式下失敗。 它拋出一個java.io.exeception：目標/ mypath /是一個目錄。

我不明白為什么它在群集中失敗。 但是我在本地沒有收到任何例外。

Answer 1

這是因為在第一種情況下（本地），您的驅動程序與運行整個Spark作業的計算機位於同一台計算機上。 在第二種情況下（集群），驅動程序被運送到您的一個工作人員並從那里執行該過程。

通常，當您要以集群模式運行Spark作業並且需要預處理本地文件（例如JSON，XML等）時，需要使用以下語句將它們與可執行文件一起--files <myfile> 。 然后，在驅動程序中，您將可以看到該特定文件。 如果要包括多個文件，請將它們用逗號(,)分隔。

當您要添加一些jar依賴項時，方法是相同的，您需要使用--jars <myJars> 。

有關此的更多詳細信息，請檢查此線程 。