如何在特定时间内运行 Spark 结构化流作业？

Question

我想每天安排一个 Spark 结构化流作业。 作业本身必须运行一定的小时数然后停止。 那么，我该如何指定这样的持续时间呢？

Answer 1

您需要每天使用 databricks 调度程序安排作业，然后在代码中为您的查询添加超时：

query = (df.writeStream...)

  query.awaitTermination(timeoutInSeconds)
  query.stop()