Oozie从外壳作业操作中压制日志？

Question

我有一个运行Shell脚本的简单工作流程（见下文）。 Shell脚本运行pyspark脚本，该脚本将文件从本地移动到hdfs文件夹。

当我运行shell脚本本身时，它可以完美运行，日志将通过shell脚本中的> spark.txt 2>＆1重定向到文件夹。

但是，当我通过以下工作流程提交oozie作业时，shell的输出似乎被抑制了。 我试图重定向所有可能的oozie日志（-verbose -log）> oozie.txt 2>＆1，但这没有帮助。

工作流成功完成（状态为SUCCESSEDED，没有错误日志），但是我看到该文件夹​​未复制到hdfs，但是当我单独运行它（而不是通过oozie）时，一切都很好。

<action name="forceLoadFromLocal2hdfs">
<shell xmlns="uri:oozie:shell-action:0.1">
  <job-tracker>${jobTracker}</job-tracker>
  <name-node>${nameNode}</name-node>
  <configuration>
    <property>
      <name>mapred.job.queue.name</name>
      <value>${queueName}</value>
    </property>
  </configuration>
  <exec>driver-script.sh</exec>
  <argument>s</argument>
  <argument>script.py</argument>
  <!-- arguments for py script -->
  <argument>hdfsPath</argument>
  <argument>localPath</argument>
  <file>driver-script.sh#driver-script.sh</file>
</shell>
<ok to="end"/>
<error to="killAction"/>

多谢！

编辑：谢谢我在下找到完整日志的建议

yarn -logs -applicationId [application_xxxxxx_xxxx] 

Answer 1

谢谢我在下找到完整日志的建议

yarn -logs -applicationId [application_xxxxxx_xxxx]