在紗線群集模式下在YARN上運行Spark：控制台輸出在哪里？

Question

我按照這個頁面在紗線集群模式下在YARN上運行SparkPi示例應用程序。

http://spark.apache.org/docs/latest/running-on-yarn.html

我最后沒有看到程序的輸出（這是本例計算的結果）。 當我在yarn-client模式下運行它（--master yarn-client）時，我看到這樣的輸出：

Pi大約是3.138796

標准輸出在紗線群集模式中的位置是什么？

Answer 1

經過多次探討，我在spark-0.9.0 doc中找到了這個。

檢查輸出（使用上一個命令的“application identifier”輸出替換下面的$ YARN_APP_ID）（注意：YARN_APP_LOGS_DIR通常是/ tmp / logs或$ HADOOP_HOME / logs / userlogs，具體取決於Hadoop版本。）

$ cat $ YARN_APP_LOGS_DIR / $ YARN_APP_ID / container * _000001 / stdout

Pi約為3.13794

我希望他們也將這條指令放在1.1.0文檔中 。