從1.0.0起開始在Spark UI中查看工作人員/執行者日志

Question

在0.9.0中查看工作日志很簡單，只需單擊一下spark ui主頁即可。

現在（1.0.0+）我找不到它們。 此外，當我的工作崩潰時，Spark UI會停止工作！ 這很煩人，僅當您的應用程序不需要調試時，調試工具的作用才是關鍵。 根據http://apache-spark-user-list.1001560.n3.nabble.com/Viewing-web-UI-after-fact-td12023.html，我需要找出我的主網址是什么，但是我不知道不是怎么做的，spark不會在啟動時吐出這些信息，它的意思是：

... -Dspark.master=\"yarn-client\" ...

顯然http://yarn-client:8080不起作用。 一些網站談論了如何在YARN中查找日志變得非常混亂-您不僅需要登錄UI，還需要登錄到框來查找日志。 當然，這是一個巨大的回歸，必須有一種更簡單的方法？

我應該如何找出主URL？ 如何找到我的工作程序（現在稱為執行程序）日志？

Answer 1

根據您的YARN NodeManager日志聚合配置，將自動聚合spark作業日志。 通常可以通過以下方式找到運行時日志：

Spark主日志

如果您正在運行yarn-cluster，請轉到YARN Scheduler Web UI。 您可以在此處找到Spark Master日志。 作業描述頁面的“日志”按鈕提供了內容。

使用yarn-client，驅動程序在您的spark-submit命令中運行。 如果將log4j.properties配置為以stderr或stdout輸出，那么您將看到驅動程序日志。

Spark執行器日志

在驅動程序日志中搜索“ executorHostname”。 請參閱評論以獲取更多詳細信息。

Answer 2

這些答案記錄了如何從命令行或UI中找到它們

YARN上Spark中的日志在哪里？

對於UI，在邊緣節點上

在/etc/hadoop/conf/yarn-site.xml中查找紗線資源管理器URI（ yarn.resourcemanager.webapp.address ）。

或使用命令行：

yarn logs -applicationId [OPTIONS]