由其他用户提交时，TEZ作业失败

Question

使用Kerberos安全性配置的Hadoop-2.6.0 HA集群。 从其他用户在yarn-tez框架中使用tez-example-0.6.0.jar提交示例作业时，出现以下异常

例外

java.io.IOException: The ownership on the staging directory hdfs://clustername/tmp/staging is not as expected. It is owned by Kumar. The directory must be owned by the submitter TestUser or by TestUser

该目录具有完全权限，但仍会遇到上述异常。 但是，当在yarn-tez框架中使用mapreduce-examples-2.6.0.jar提交作业时，该作业就成功完成了。

命令

yarn jar C:\Tez\tez-examples-0.6.0.jar orderedwordcount -Dmapreduce.framework.name=yarn-tez  /user/Kumar/names /user/Kumar/names1

帮助将不胜感激。

Answer 1

在您的tez-site.xml中设置以下内容：

<property>
   <name>tez.staging-dir</name>
   <value>/tmp/${user.name}/tez/staging/</value>
</property>

当前的登台目录似乎已配置为使用/ clustername / tmp / staging /，对于多个用户，该目录最终使用相同的路径，从而导致权限冲突。

如果使用/ clustername / tmp作为前缀，请确保预先创建tmp目录并对其具有777权限。