无法在YARN群集上运行Spark作业

Question

我在运行Spark的顶部有一个简单的hadoop集群（即Spark使用YARN作为集群管理器）。

我正在使用Hadoop 2.7; 斯卡拉2.112.1; spark 2.1.0和jdk 8。

现在，当我提交工作时，它失败，并显示以下消息：

17/04/06 23:57:55 INFO yarn.Client: Application report for application_1491534363989_0004 (state: ACCEPTED)
17/04/06 23:57:56 INFO yarn.Client: Application report for application_1491534363989_0004 (state: FAILED)
17/04/06 23:57:56 INFO yarn.Client:
     client token: N/A
     diagnostics: Application application_1491534363989_0004 failed 2 times due to AM Container for appattempt_1491534363989_0004_000002 exited with  exitCode: 15
For more detailed output, check application tracking page:http://rm100.hadoop.cluster:8088/cluster/app/application_1491534363989_0004Then, click on links to logs of each attempt.
Diagnostics: Exception from container-launch.
Container id: container_1491534363989_0004_02_000001
Exit code: 15

JDK 8有什么问题吗？

更新

当我使用JDK 7运行相同的程序时，它运行良好。 所以我的问题是：Spark，scala和hadoop在JDK 8中是否有问题？

Answer 1

我一直在使用Java 8在纱线群集上使用Spark，并且一切运行顺利。 据我了解，较新版本的spark和scala需要Java 8或更高版本。 这是您需要考虑的几件事。

1. 在hadoop-env.sh中检查JAVA_HOME路径
2. 启动纱线簇时，请确保使用jps启动所有必需的节点。
3. 检查hadoop日志中的日志。
4. 请访问http://rm100.hadoop.cluster:8088/cluster/app/application_1491534363989_0004了解更多信息