正常停止Spark批处理作业

Question

我正在处理spark作业，该作业会在表中更新有关其执行的状态，现在，如果该表已经包含成功的执行，则需要正常停止Spark作业。

我试着做

System.exit（0）

但是工作失败了

错误：在报告最终状态之前调用了关闭挂钩。

正常退出Spark作业的正确过程是什么？

Answer 1

您只需要在退出应用程序之前调用sc.stop() （在SparkContext上）。

另请参阅pyspark上的类似问题 。