纱线 output 上的哪个目录会触发应用程序的日志？ 每个节点中的 spark.eventLog.dir 或 var/log/？

Question

我正在构建一个日志分析计划表来监控纱线集群上的火花作业，我想清楚地了解火花/纱线日志记录。 我对此进行了很多搜索，这些是我的困惑。

1. spark.eventLog.dir 或 spark.history.fs.logDirectory 中指定的目录存储了所有应用程序主日志，通过 spark conf 中的 log4j.properties 我们可以自定义这些日志吗？

2. 默认情况下，所有数据节点 output 其执行程序日志到 /var/log/ 中的文件夹。 启用日志聚合后，您也可以将这些执行程序日志发送到 spark.eventLog.dir 位置吗？

我已经设法设置了一个 3 节点虚拟 hadoop 纱线集群，火花安装在主节点中。 当我在客户端模式下运行 spark 时，我认为该节点将成为应用程序主节点。 我是大数据的初学者，感谢任何帮助我解决这些困惑的努力。

Answer 1

Spark log4j日志写入 Yarn 容器标准错误日志。 这些目录由yarn.nodemanager.log-dirs配置参数控制（EMR 上的默认值为/var/log/hadoop-yarn/containers ）。

（ spark.eventLog.dir仅由 Spark History Server 用于在作业完成后显示 Web UI。这里，Spark 将编码显示在 UI 中的信息的事件写入持久存储）。