设置 hadoop 用户以通过 oozie shell 操作启动 spark-submit

Question

我想在通过 shell 操作启动 oozie 工作流时为 spark-submit 操作设置 hadoop 用户：oozie MR（启动 shell）应该作为用户 A 启动，但是 spark-submit（从 shell 脚本启动）应该作为用户 B 启动。

我试图用'export HADOOP_USER_NAME=B'（在shell脚本中）设置user.name=A（在job.properties中），但除非A=B，否则它不起作用。

任何人都可以帮忙吗？

PS 我使用 oozie 4.0.0 和 CDH 5.3.1 并在纱线上使用火花 1.2.0。

Answer 1

我很惊讶在 shell 脚本中导出HADOOP_USER_NAME不起作用，但您可以尝试添加一个

<shell ...>
  ...
  <env-var>HADOOP_USER_NAME=B</env-var>
  ...
</shell>

到 xml 中的 shell 操作。