由启动集群的同一用户运行时，Pig MR作业失败

Question

我在Pig缩小作业中间歇性地看到一些映射器和缩小器的异常。 在大多数情况下，它会在其他某个节点上重试，并且任务成功。 但是有时所有4个任务都失败，并且map reduce作业失败。

但是有趣的是文件夹jobcache确实具有权限700。我不明白为什么它不能在其中创建文件夹。

Error initializing attempt_201212101828_0396_m_000028_0:
java.io.IOException: Failed to set permissions of path: /apollo/env/TrafficAnalyticsHadoop/var/hadoop/mapred/local_data/taskTracker/trafanly/jobcache/job_201212101828_0396 to 0700
    at org.apache.hadoop.fs.FileUtil.checkReturnValue(FileUtil.java:682)
    at org.apache.hadoop.fs.FileUtil.setPermission(FileUtil.java:671)
    at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:509)
    at org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:344)
    at org.apache.hadoop.mapred.JobLocalizer.createJobDirs(JobLocalizer.java:221)
    at org.apache.hadoop.mapred.DefaultTaskController.initializeJob(DefaultTaskController.java:184)
    at org.apache.hadoop.mapred.TaskTracker$4.run(TaskTracker.java:1226)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:396)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1093)
    at org.apache.hadoop.mapred.TaskTracker.initializeJob(TaskTracker.java:1201)
    at org.apache.hadoop.mapred.TaskTracker.localizeJob(TaskTracker.java:1116)
    at org.apache.hadoop.mapred.TaskTracker$5.run(TaskTracker.java:2404)
    at java.lang.Thread.run(Thread.java:662)

如果有帮助，我正在使用Hadoop 1.0.1。 我在网上搜索时发现的另一件事是： https : //issues.apache.org/jira/browse/MAPREDUCE-890 。 在我的情况下，启动映射集群的用户确实正在运行该作业，即该作业失败时。 对于任何其他用户，该作业运行正常。

任何帮助，将不胜感激。

Answer 1

将您在.xml配置文件中用作属性值的目录的权限更改为755