Hadoop 3.3 和 oozie 5.2.0

Question

我正在使用hadoop 3.3和 oozie oozie 5.2.0 。

我收到以下错误：

Exception in thread "main" java.lang.NullPointerException
    at org.apache.hadoop.yarn.client.api.impl.AMRMClientImpl.unregisterApplicationMaster(AMRMClientImpl.java:519)
    at org.apache.hadoop.yarn.client.api.async.impl.AMRMClientAsyncImpl.unregisterApplicationMaster(AMRMClientAsyncImpl.java:220)
    at org.apache.oozie.action.hadoop.LauncherAM.unregisterWithRM(LauncherAM.java:354)
    at org.apache.oozie.action.hadoop.LauncherAM.run(LauncherAM.java:280)
    at org.apache.oozie.action.hadoop.LauncherAM$1.run(LauncherAM.java:155)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:422)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1845)
    at org.apache.oozie.action.hadoop.LauncherAM.main(LauncherAM.java:143)

Answer 1

可能有一些 hadoop3.3 不兼容 oozie 5.2.0

https://issues.apache.org/jira/browse/OOZIE-3219?page=com.atlassian.jira.plugin.system.issuetabpanels%3Acomment-tabpanel&00#CommentId=17155556

Answer 2

Oozie 5.2 的默认 Hadoop 版本为 2.6.0

您可能需要针对较新版本的 Hadoop 构建 Oozie

http://oozie.apache.org/docs/5.2.0/ENG_Building.html

Answer 3

有替代方案，因为当前有一个项目调用 Apache Bigtop，它使用新版本编译 Hadoop 生态系统工具。 所以，你有两个选择：第一个是使用当前的Bigtop 版本 3.1.1 ，它运行在 oozie 5.2.1 和 hadoop 3.2.4 之上，或者使用Bigtop 的 Github 历史变化作为参考作为你自己的编译。 另一方面，有一些中文博客像这样谈论它https://blog.csdn.net/tutu_ai/article/details/124372422