Spark執行者登錄YARN

Question

我正在Cloudera集群上以YARN客戶端模式啟動分布式Spark應用程序。 一段時間后，我在Cloudera Manager上看到一些錯誤。 一些執行者斷開連接，這是系統發生的。 我想調試問題，但YARN未報告內部異常。

Exception from container-launch with container ID: container_1417503665765_0193_01_000003 and exit code: 1
ExitCodeException exitCode=1: 
    at org.apache.hadoop.util.Shell.runCommand(Shell.java:538)
    at org.apache.hadoop.util.Shell.run(Shell.java:455)
    at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:702)
    at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:196)
    at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:299)
    at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:81)
    at java.util.concurrent.FutureTask.run(FutureTask.java:262)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
    at java.lang.Thread.run(Thread.java:745)

如何查看異常的堆棧跟蹤？ 似乎YARN僅報告該應用程序異常退出。 有沒有辦法查看YARN配置中的spark executor登錄？

Answer 1

檢查NodeManager的yarn.nodemanager.log-dir屬性。 它是Spark執行程序容器運行時的日志位置。

請注意，當應用程序完成時，NodeManager可能會刪除文件（日志聚合）。 檢查此文檔以獲取詳細信息。 http://hortonworks.com/blog/simplifying-user-logs-management-and-access-in-yarn/