在运行于纱线中的scala spark作业中，如何使作业失败，以便纱线显示“失败”状态

Question

我在我的scala spark作业代码中有一个简单的if语句，如果为false，我想停止该作业并将其标记为失败。 我希望纱线UI以失败状态显示Spark作业，但是到目前为止，我所做的一切都停止了该作业，但仅在纱线UI上显示为成功完成。

    if(someBoolen) {
        //context.clearAllJobs()
        //System.exit(-1)
        //etc, nothing so far, stops the job and show as failed in the yarn UI
    }

任何帮助都会很棒。

Answer 1

引发异常（而不是捕获异常）将导致进程失败。

if(someBoolen) {
    throw new Exception("Job failed");
}