Hadoop在哪里存储YARN应用程序的日志？

Question

我运行Hortonworks的纱线应用示例的基本示例 。 应用程序失败，我想阅读日志以找出原因。 但我找不到存储我的mapreduce作业日志的预期位置（ /HADOOP_INSTALL_FOLDER/logs ）的任何文件。

有谁知道yarn存储非mapreduce日志文件的位置？ 我是否必须在xml文件中配置特殊目录？

Answer 1

容器日志应该在yarn.nodemanager.log-dirs ：

存储容器日志的位置。 应用程序的本地化日志目录位于${yarn.nodemanager.log-dirs}/application_${appid} 。 单个容器的日志目录将在名为container_{$contid} 。 每个容器目录将包含该容器生成的文件stderr，stdin和syslog。

Answer 2

日志聚合已在YARN中实现，因此与Hadoop 1相比，日志文件位置会有所不同。

您可以通过两种方式获取应用程序的日志：WebUi和命令行访问。

请仔细阅读下面的文档，该文档为您提供有关YARN上此日志聚合实现的非常明确的信息。

http://hortonworks.com/blog/simplifying-user-logs-management-and-access-in-yarn/

感谢博客作者Vinod Kumar Vavilapalli。