spark.sql.shuffle.partitions 究竟指的是什么？

Question

spark.sql.shuffle.partitions指的是什么？ 我们是在谈论作为宽转换结果的分区数量，还是在中间发生的事情，例如在宽转换的结果分区之前的某种中间分区？

因为在我看来，根据广泛的转变，我们有

Parents RDDs -> shuffle files -> Child RDDs

spark.sql.shuffle.partitions 参数在这里指的是什么？ shuffles文件或CHILD RDD或其他我忽略的东西？

Answer 1

这已经在官方文档中解释过：

spark.sql.shuffle.partitions 200 配置混洗数据以进行连接或聚合时使用的分区数。

换句话说，它是子Dataset的分区数。