由啟動集群的同一用戶運行時，Pig MR作業失敗

Question

我在Pig縮小作業中間歇性地看到一些映射器和縮小器的異常。 在大多數情況下，它會在其他某個節點上重試，並且任務成功。 但是有時所有4個任務都失敗，並且map reduce作業失敗。

但是有趣的是文件夾jobcache確實具有權限700。我不明白為什么它不能在其中創建文件夾。

Error initializing attempt_201212101828_0396_m_000028_0:
java.io.IOException: Failed to set permissions of path: /apollo/env/TrafficAnalyticsHadoop/var/hadoop/mapred/local_data/taskTracker/trafanly/jobcache/job_201212101828_0396 to 0700
    at org.apache.hadoop.fs.FileUtil.checkReturnValue(FileUtil.java:682)
    at org.apache.hadoop.fs.FileUtil.setPermission(FileUtil.java:671)
    at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:509)
    at org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:344)
    at org.apache.hadoop.mapred.JobLocalizer.createJobDirs(JobLocalizer.java:221)
    at org.apache.hadoop.mapred.DefaultTaskController.initializeJob(DefaultTaskController.java:184)
    at org.apache.hadoop.mapred.TaskTracker$4.run(TaskTracker.java:1226)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:396)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1093)
    at org.apache.hadoop.mapred.TaskTracker.initializeJob(TaskTracker.java:1201)
    at org.apache.hadoop.mapred.TaskTracker.localizeJob(TaskTracker.java:1116)
    at org.apache.hadoop.mapred.TaskTracker$5.run(TaskTracker.java:2404)
    at java.lang.Thread.run(Thread.java:662)

如果有幫助，我正在使用Hadoop 1.0.1。 我在網上搜索時發現的另一件事是： https : //issues.apache.org/jira/browse/MAPREDUCE-890 。 在我的情況下，啟動映射集群的用戶確實正在運行該作業，即該作業失敗時。 對於任何其他用戶，該作業運行正常。

任何幫助，將不勝感激。

Answer 1

將您在.xml配置文件中用作屬性值的目錄的權限更改為755