在hadoop多節點集群設置中，從作業日志到$ {hadoop.tmp.dir}創建符號鏈接失敗

Question

當我在3節點集群hadoop中運行簡單的wordcount示例時，我得到以下錯誤。 我檢查了必要文件夾的所有寫/讀權限。 此錯誤不會停止mapreduce作業，但所有工作負載都會轉移到群集中的一台計算機上，而其他兩台計算機在任務到達時會產生相同的錯誤。

12/09/13 09:38:37 INFO mapred.JobClient: Task Id : attempt_201209121718_0006_m_000008_0,Status : FAILED
java.lang.Throwable: Child Error
    at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:271)
Caused by: java.io.IOException: Creation of symlink from /hadoop/libexec/../logs/userlogs/job_201209121718_0006/attempt_201209121718_0006_m_000008_0 to /hadoop/hadoop-datastore
/mapred/local/userlogs/job_201209121718_0006/attempt_201209121718_0006_m_000008_0 failed.
    at org.apache.hadoop.mapred.TaskLog.createTaskAttemptLogDir(TaskLog.java:110)
    at org.apache.hadoop.mapred.DefaultTaskController.createLogDir(DefaultTaskController.java:71)
    at org.apache.hadoop.mapred.TaskRunner.prepareLogFiles(TaskRunner.java:316)
    at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:228)

12/09/13 09:38:37 WARN mapred.JobClient: Error reading task outputhttp://peter:50060/tasklog?plaintext=true&attemptid=attempt_201209121718_0006_m_000008_0&filter=stdout
12/09/13 09:38:37 WARN mapred.JobClient: Error reading task outputhttp://peter:50060/tasklog?plaintext=true&attemptid=attempt_201209121718_0006_m_000008_0&filter=stderr

那個錯誤是什么？

Answer 1

java.lang.Throwable：Child Error

org.apache.hadoop.mapred.TaskRunner.run（TaskRunner.java:271）

似乎為任務跟蹤器分配的內存不僅僅是節點的實際內存。 檢查此鏈接說明