spark.sql.shuffle.partitions和df.repartition之间的差异（如果有）

Question

我在协调sqlContext.sql("set spark.sql.shuffle.partitions=n")和使用df.repartition(n)重新划分Spark DataFrame之间的差异（如果存在）时遇到了一些困难。

Spark文档指出， set spark.sql.shuffle.partitions=n配置对数据进行df.repartition时使用的分区数，而df.repartition似乎返回按指定键数分区的新DataFrame。

为了使这个问题更清楚，这是一个玩具示例，说明了我相信df.reparition和spark.sql.shuffle.partitions如何工作：

假设我们有一个DataFrame，如下所示：

ID | Val
--------
A  |  1
A  |  2
A  |  5
A  |  7
B  |  9
B  |  3
C  |  2

1. 场景1：3个按ID排序的随机分配分区 ：如果我要设置sqlContext.sql("set spark.sql.shuffle.partitions=3")然后执行df.repartition($"ID") ，我会期望我的数据将重新划分为3个分区，一个分区保存ID为“ A”的所有行的3个值，另一个分区保存ID为“ B”的所有行的2个值，最后一个分区保存所有行的1个值ID为“ C”。
2. 方案2：5个混洗分区，按ID分配DF ：在这种情况下，我仍然希望每个分区仅保存标记有相同ID的数据。 也就是说， 在同一分区内不会混合使用具有不同ID的行 。

我的理解不在这里吗？ 总的来说，我的问题是：

1. 我正在尝试优化数据帧的分区，以避免倾斜，但是要使每个分区都尽可能多地保留相同的关键信息。 如何通过set spark.sql.shuffle.partitions和df.repartiton ？

2. 在set spark.sql.shuffle.partitions和df.repartition之间是否存在链接？ 如果是这样，那是什么链接？

谢谢！

Answer 1

我希望将我的数据重新划分为3个分区，一个分区保存ID为“ A”的所有行的3个值，另一个分区保存ID为“ B”的所有行的2个值，最后一个分区保存为1 val的最后一个分区。 ID为“ C”的所有行。

没有

5个混洗分区，按ID划分DF：在这种情况下，我仍然希望每个分区仅保留标记有相同ID的数据。 也就是说，在同一分区内不会混合使用具有不同ID的行。

和不。

分区不是这样工作的。 Partitioners将值映射到分区，但是通常情况下映射不是唯一的（有关详细说明，可以检查HashPartitioner的工作原理？ ）。

set spark.sql.shuffle.partitions和df.repartition之间是否存在链接？ 如果是这样，那是什么链接？

确实有。 如果您使用df.repartition ，但未提供分区数量，则使用spark.sql.shuffle.partitions 。