Mark Spark Job在纱线UI中失败

Question

该应用程序是复杂生态系统的一部分，我们使用Yarn Rest Api跟踪所有工作的状态。

现在针对某些特定的业务场景，我们需要将Spark Job标记为失败，但是我已陷入陷阱状态，因为无论我在spark job中引发错误/异常或System.exit（123）作业被标记为已完成在纱线，最终状态为成功。

使用spark-submit使用jar发射火花作业。

object Execute {
 def main(args: Array[String]) {
   val sc = new SparkContext(sparkConf)
   if(businessException needs to be raised)
      //What to do???
 }
}

我在火花工作中尝试过的事情：

• 抛出新错误（“随便”）
• 抛出新的异常（“随便”）
• System.exit（123）
• sys.exit（123）

希望有人可以告诉我如何将火花作业标记为纱线UI失败。

Answer 1

别介意。 纱线的火花应用报告无论如何都是不稳定的，从Jira上的多个漏洞中可以看出，这表明Yarn有时将成功的火花作业标记为失败，反之亦然。

我最终制作了自己的数据库表来跟踪最终状态（错误，成功等），这是根据条件从spark作业更新的。