在YARN上運行Spark作業

Question

我正在嘗試利用我在群集上擁有的所有資源來運行Spark作業。 我在所有節點上都安裝了Cloudera Manager。 這是我用來提交作業的命令。

spark-submit --master yarn 
             --deploy-mode cluster 
             file:///[spark python file]
             file://[app argument 1]
             file://[app argument 2]

在執行期間，我收到以下錯誤：

diagnostics: Application application_1450777964379_0027 failed 2 times due to AM Container for appattempt_1450777964379_0027_000002 exited with  exitCode: 1

任何想法如何解決它將非常感激。

編輯1 WEB UI無法訪問安裝Spark的機器我嘗試下載源代碼並閱讀有關異常的更多信息。

------------------------------------------------------------
| Job | Description                                        | 
------------------------------------------------------------
| 0   | saveAsTextFile at NativeMethodAccessorImpl.java:-2 | 
------------------------------------------------------------

Answer 1

取自這里 ，

如果路徑以file：//或hdfs：//開頭，則路徑變為ile：//或dfs：//。 如果路徑是絕對路徑，則刪除第一個斜杠。

沒有特別的理由，需要修復。

嘗試使用絕對路徑而不是file://