我可以使用 Airflow 来启动/停止 Spark 流作业吗

Question

我有两种类型的工作：Spark Ba​​tch 工作和 Spark 流工作。

我想用气流来安排和管理它们。

任何人都可以给我一些想法。

Answer 1

批处理作业 - 包括 spark 可以通过气流调度程序进行调度。

流媒体工作 - 从技术上讲是的 - 没有什么能阻止你。 但是，对 Spark 流作业执行相同操作是没有意义的，因为这些作业是长时间运行的作业，最好通过其他工具执行它们。