[英]Running Spark job on YARN
我正在尝试利用我在群集上拥有的所有资源来运行Spark作业。 我在所有节点上都安装了Cloudera Manager。 这是我用来提交作业的命令。
spark-submit --master yarn
--deploy-mode cluster
file:///[spark python file]
file://[app argument 1]
file://[app argument 2]
在执行期间,我收到以下错误:
diagnostics: Application application_1450777964379_0027 failed 2 times due to AM Container for appattempt_1450777964379_0027_000002 exited with exitCode: 1
任何想法如何解决它将非常感激。
编辑1 WEB UI无法访问安装Spark的机器我尝试下载源代码并阅读有关异常的更多信息。
------------------------------------------------------------
| Job | Description |
------------------------------------------------------------
| 0 | saveAsTextFile at NativeMethodAccessorImpl.java:-2 |
------------------------------------------------------------
取自这里 ,
如果路径以file://或hdfs://开头,则路径变为ile://或dfs://。 如果路径是绝对路径,则删除第一个斜杠。
没有特别的理由,需要修复。
尝试使用绝对路径而不是file://
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.