缺少Hadoop日志文件

Question

來自較早版本的Hadoop，我正在Hadoop 2.2.0中尋找用戶日志文件（log.index，stderr，stdout，syslog）。 我首先查找了Web界面，但端口50030上沒有任何運行。然后，我查找了HADOOP_HOME_DIR / logs，但沒有看到userlogs目錄，也沒有看到帶有jobnumber的東西。 我查看的Nex位置是temp dir（/ tmp），找到了看起來像這樣的文件夾：

$ find . -name "job_local1643076800_0001"
./hadoop-tom/mapred/staging/tom1643076800/.staging/job_local1643076800_0001
./hadoop-tom/mapred/local/localRunner/tom/jobcache/job_local1643076800_0001
./hadoop-tom/mapred/local/localRunner/tom/job_local1643076800_0001

在這里，我找到了預期格式的目錄：try_local1643076800_0001_m_000000_0但它們為空。

我還設置了"export HADOOP_LOG_DIR=/path" ，但這也沒有填滿。 我在這里想念什么嗎？ 還是當我從源代碼構建Hadoop時出了點問題？

提前致謝！

Answer 1

用戶日志應位於logs文件夾下的文件夾userlogs下。 所以像hadoop-2.2.0/logs/userlogs/ 。 檢查jps命令以查看是否正在運行所需的進程-可能不是。 如果沒有，請檢查您的日志（不是用戶日志）中的錯誤並進行配置。

如果您的進程未運行，我想知道您如何設法運行一些作業。 您的工作順利完成了嗎？

Answer 2

hadoop 2.2.0中的默認mapreduce框架是YARN。 50030端口是Jobtracker webUI，在YARN中而不是jobtracker中，它使用資源管理器，其Webui可通過8088訪問。

在您的情況下，作業正在作為localRunner執行，這意味着從客戶端，YARN配置不正確或YARN服務關閉。 驗證您的配置。