使用纱簇在Spark中提交作业

Question

我无法在纱线群集中提交作业。该作业在yarn-client选项下运行良好。 将其提交到yarn-cluster只会多次出现此日志。

Application report for application_1421828570504_0002 (state: ACCEPTED) 

并因以下异常而失败。

diagnostics: Application application_1421828570504_0002 failed 10 times due to AM Container for app
attempt_1421828570504_0002_000010 exited with  exitCode: 1 due to: Exception from container-launch: org.apache.hadoop.util.Shell$ExitCodeException: 
org.apache.hadoop.util.Shell$ExitCodeException:

Answer 1

您应该查看应用程序的日志：

> yarn logs --applicationId application_1421828570504_0002

这将产生一些有关火花容器内实际运行的调试信息。 由于它在本地运行，但不在集群上运行，所以我的猜测是缺少SparkContext定义。 看看我对这个问题的回答以解决。