Oozie Spark2 Java动作：如何关机

Question

我正在将现有的管道从spark 1.6.0迁移到spark 2.1.0（cdh 5.15.1）。 我正在使用的oozie版本（4.1.0）不支持spark2动作，所以我们使用java动作运行spark2作业。

通过java操作成功执行了作业，但我面临的一个问题是每当oozie工作流被杀死时，火花应用程序都不会被杀死，尤其是在运行集群模式时。

我可以理解java动作在一个单独的容器中启动spark驱动程序，这是一个单独的jvm进程。 只是想了解是否有办法处理这种情况。

Answer 1

我很确定这就是所有作为MapReduce作业运行的Oozie操作所发生的事情。 我遇到过与Hive2操作相同的问题。

来自O'Reilly的“Apache Oozie”

如果工作流的任何执行路径到达终止节点，Oozie将立即终止工作流，使所有正在运行的操作失败...并将工作流的完成状态设置为KILLED。 值得注意的是，Oozie不会明确地杀死与这些操作相对应的Hadoop集群上当前运行的MapReduce作业。

关于Java行动

此操作作为单个映射器作业运行....