如何重置 pyspark 中的检查点？

Question

我在pyspark看表

df = spark.readStream.format("delta").load("mySourceTable")  

我用它写

df.writeStream.format("delta").outputMode("append").option("checkpointLocation", "/_checkpoints/myOutputTable").start(myOutputTable")

我的问题是如何删除所有检查点，以便 pyspark 从头而不是从上次读取的位置读取mySourceTable ？

谢谢你。

我不知道如何删除"/_checkpoints/myOutputTable").start(myOutputTable")中的检查点

Answer 1

我不知道如何删除 "/_checkpoints/myOutputTable").start(myOutputTable") 中的检查点

停止 Spark 应用程序后，您可以 go 直接到文件系统上的checkpointLocation目录（或存储表的任何位置，例如 S3）并移动/删除它。

当您随后重新启动 Spark 应用程序时，它将从头开始处理mySourceTable 。