在发送到S3之前，YARN应用程序日志在哪里存储在EMR中

Question

我需要将来自EMR的Yarn应用程序日志写入到S3以外的其他源中。.请问我在EMR主实例中保存应用程序日志的位置是什么

Answer 1

如果将应用程序作为步骤提交给emr，则日志将位于：

/var/log/hadoop/steps/<<step-id>>/<<log-file>>

大多数emr日志都可以在主节点的/var/logs目录下找到

您还可以使用yarn cli来获取应用程序日志，并将返回的日志流重定向到文件以执行所需的任何操作。

yarn logs -applicationId <<application_id>> > application_log_file.log

Answer 2

纱线日志位于/var/log/hadoop-yarn/ ，纱线容器日志位于/var/log/hadoop-yarn/container