缺少Hadoop日志文件

Question

来自较早版本的Hadoop，我正在Hadoop 2.2.0中寻找用户日志文件（log.index，stderr，stdout，syslog）。 我首先查找了Web界面，但端口50030上没有任何运行。然后，我查找了HADOOP_HOME_DIR / logs，但没有看到userlogs目录，也没有看到带有jobnumber的东西。 我查看的Nex位置是temp dir（/ tmp），找到了看起来像这样的文件夹：

$ find . -name "job_local1643076800_0001"
./hadoop-tom/mapred/staging/tom1643076800/.staging/job_local1643076800_0001
./hadoop-tom/mapred/local/localRunner/tom/jobcache/job_local1643076800_0001
./hadoop-tom/mapred/local/localRunner/tom/job_local1643076800_0001

在这里，我找到了预期格式的目录：try_local1643076800_0001_m_000000_0但它们为空。

我还设置了"export HADOOP_LOG_DIR=/path" ，但这也没有填满。 我在这里想念什么吗？ 还是当我从源代码构建Hadoop时出了点问题？

提前致谢！

Answer 1

用户日志应位于logs文件夹下的文件夹userlogs下。 所以像hadoop-2.2.0/logs/userlogs/ 。 检查jps命令以查看是否正在运行所需的进程-可能不是。 如果没有，请检查您的日志（不是用户日志）中的错误并进行配置。

如果您的进程未运行，我想知道您如何设法运行一些作业。 您的工作顺利完成了吗？

Answer 2

hadoop 2.2.0中的默认mapreduce框架是YARN。 50030端口是Jobtracker webUI，在YARN中而不是jobtracker中，它使用资源管理器，其Webui可通过8088访问。

在您的情况下，作业正在作为localRunner执行，这意味着从客户端，YARN配置不正确或YARN服务关闭。 验证您的配置。