無法在YARN群集上運行Spark作業

Question

我在運行Spark的頂部有一個簡單的hadoop集群（即Spark使用YARN作為集群管理器）。

我正在使用Hadoop 2.7; 斯卡拉2.112.1; spark 2.1.0和jdk 8。

現在，當我提交工作時，它失敗，並顯示以下消息：

17/04/06 23:57:55 INFO yarn.Client: Application report for application_1491534363989_0004 (state: ACCEPTED)
17/04/06 23:57:56 INFO yarn.Client: Application report for application_1491534363989_0004 (state: FAILED)
17/04/06 23:57:56 INFO yarn.Client:
     client token: N/A
     diagnostics: Application application_1491534363989_0004 failed 2 times due to AM Container for appattempt_1491534363989_0004_000002 exited with  exitCode: 15
For more detailed output, check application tracking page:http://rm100.hadoop.cluster:8088/cluster/app/application_1491534363989_0004Then, click on links to logs of each attempt.
Diagnostics: Exception from container-launch.
Container id: container_1491534363989_0004_02_000001
Exit code: 15

JDK 8有什么問題嗎？

更新

當我使用JDK 7運行相同的程序時，它運行良好。 所以我的問題是：Spark，scala和hadoop在JDK 8中是否有問題？

Answer 1

我一直在使用Java 8在紗線群集上使用Spark，並且一切運行順利。 據我了解，較新版本的spark和scala需要Java 8或更高版本。 這是您需要考慮的幾件事。

1. 在hadoop-env.sh中檢查JAVA_HOME路徑
2. 啟動紗線簇時，請確保使用jps啟動所有必需的節點。
3. 檢查hadoop日志中的日志。
4. 請訪問http://rm100.hadoop.cluster:8088/cluster/app/application_1491534363989_0004了解更多信息