[英]Spark executor logs on YARN
我正在Cloudera集群上以YARN客户端模式启动分布式Spark应用程序。 一段时间后,我在Cloudera Manager上看到一些错误。 一些执行者断开连接,这是系统发生的。 我想调试问题,但YARN未报告内部异常。
Exception from container-launch with container ID: container_1417503665765_0193_01_000003 and exit code: 1
ExitCodeException exitCode=1:
at org.apache.hadoop.util.Shell.runCommand(Shell.java:538)
at org.apache.hadoop.util.Shell.run(Shell.java:455)
at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:702)
at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:196)
at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:299)
at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:81)
at java.util.concurrent.FutureTask.run(FutureTask.java:262)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
at java.lang.Thread.run(Thread.java:745)
如何查看异常的堆栈跟踪? 似乎YARN仅报告该应用程序异常退出。 有没有办法查看YARN配置中的spark executor登录?
检查NodeManager的yarn.nodemanager.log-dir
属性。 它是Spark执行程序容器运行时的日志位置。
请注意,当应用程序完成时,NodeManager可能会删除文件(日志聚合)。 检查此文档以获取详细信息。 http://hortonworks.com/blog/simplifying-user-logs-management-and-access-in-yarn/
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.