PySpark：完全清理检查点

Question

根据文档，可以告诉 Spark 跟踪“超出范围”的检查点——那些不再需要的检查点——并从磁盘中清除它们。

SparkSession.builder
  ...
  .config("spark.cleaner.referenceTracking.cleanCheckpoints", "true")
  .getOrCreate()

显然它这样做了，但问题是，最后一个检查点的 rdd 永远不会被删除。

题

• 执行所有清理时是否缺少任何配置？
• 如果没有：有没有办法获取为特定应用程序创建的临时文件夹的名称，以便我可以以编程方式删除它？ 即获取0c514fb8-498c-4455-b147-aff242bd7381从SparkContext以同样的方式，你可以得到applicationId

Answer 1

我知道它的老问题，但是最近我在checkpoint上进行探索，并且遇到了类似的问题。 希望分享调查结果。

问题：我缺少执行所有清理的任何配置吗？

设置spark.cleaner.referenceTracking.cleanCheckpoints=true有时会起作用，但很难依靠它。 官方文件说购买此物业

如果引用超出范围，则清理检查点文件

我不知道这是什么意思，因为我的理解是，一旦火花会话/上下文停止，就应该清理它。

但是 ，我找到了以下问题的答案

如果没有：有什么方法可以获取为特定应用程序创建的临时文件夹的名称，以便可以通过编程方式将其删除？ 即从SparkContext获取0c514fb8-498c-4455-b147-aff242bd7381的方式与获取applicationId的方式相同

是的 ，我们可以得到如下所示的checkpointed目录：

Scala：

//Set directory
scala> spark.sparkContext.setCheckpointDir("hdfs:///tmp/checkpoint/")

scala> spark.sparkContext.getCheckpointDir.get
res3: String = hdfs://<name-node:port>/tmp/checkpoint/625034b3-c6f1-4ab2-9524-e48dfde589c3

//It gives String so we can use org.apache.hadoop.fs to delete path 

PySpark：

// Set directory
>>> spark.sparkContext.setCheckpointDir('hdfs:///tmp/checkpoint')
>>> t = sc._jsc.sc().getCheckpointDir().get()
>>> t 
u'hdfs://<name-node:port>/tmp/checkpoint/dc99b595-f8fa-4a08-a109-23643e2325ca'

// notice 'u' at the start which means It returns unicode object
// Below are the steps to get hadoop file system object and delete

>>> fs = sc._jvm.org.apache.hadoop.fs.FileSystem.get(sc._jsc.hadoopConfiguration())
fs.exists(sc._jvm.org.apache.hadoop.fs.Path(str(t)))
True

>>> fs.delete(sc._jvm.org.apache.hadoop.fs.Path(str(t)))
True

Answer 2

在 Scala 中，没有文件系统，您可以使用以下代码删除任何 hdfs 目录

scala> s"hdfs dfs -rmr checkpoint-directory-path" ！