检查点后未使用新的spark.sql.shuffle.partitions值

Question

我有一个Spark的结构化流应用程序，该应用程序具有检查点，可以在拼花中写入输出，并使用默认的spark.sql.shuffle.partitions =200。我需要更改shuffle分区，但不使用新值。 以下是重新启动应用程序后检查点偏移的内容：

{"batchWatermarkMs":1520054221000,"batchTimestampMs":1520054720003,"conf":{"spark.sql.shuffle.partitions":"200"}}

我是否需要在代码中设置分区数，而不是使用--conf设置？

Answer 1

该编号从检查点恢复，只有在删除检查点数据并以“干净的状态”重新启动后，该数字才会更改。

这是有道理的，因为如果您有检查点数据，Spark需要知道从多少个分区目录中恢复以前的状态。