spark.sql.shuffle.partitions的200个默认分区难题

Question

在许多帖子中都有声明 - 如下面以某种形式所示 - 由于关于洗牌，分区，由于JOIN，AGGR，等等的一些问题：

...一般情况下，无论何时执行spark sql聚合或连接数据，这是结果分区的数量= 200.这是由spark.sql.shuffle.partitions设置的。 ...

所以，我的问题是：

• 我们的意思是，如果我们为DF设置了765的分区，例如，
  • 处理是针对765个分区进行的，但是输出被标准地合并/重新分区为200 - 这里指的是单词结果 ？
  • 或者在JOINing，AGGR之前合并/重新分区到200个分区后，是否使用200个分区进行处理？

我问，因为我从未看到一个明确的观点。

我做了以下测试：

// genned ad DS of some 20M short rows
df0.count
val ds1 = df0.repartition(765)
ds1.count
val ds2 = df0.repartition(765)
ds2.count

sqlContext.setConf("spark.sql.shuffle.partitions", "765")
// The above not included on 1st run, the above included on 2nd run.

ds1.rdd.partitions.size
ds2.rdd.partitions.size

val joined = ds1.join(ds2, ds1("time_asc") === ds2("time_asc"), "outer") 
joined.rdd.partitions.size
joined.count
joined.rdd.partitions.size

在第一次测试 - 没有定义 sqlContext.setConf（“spark.sql.shuffle.partitions”，“765”）时 ，处理和num分区结果是200.即使SO 45704156声明它可能不适用于DF - 这是一个DS。

在第二个测试 - 定义 sqlContext.setConf（“spark.sql.shuffle.partitions”，“765”） ，处理和num分区结果是765.即使SO 45704156声明它可能不适用于DF - 这是一个DS。

Answer 1

这是你猜测的结合。

假设您有一组带有M个分区的输入数据，并将shuffle分区设置为N.

执行连接时，spark会读取所有M个分区中的输入数据，并根据N个分区的密钥重新混洗数据。 想象一个简单的散列分区，应用在密钥上的散列函数几乎看起来像A = hashcode（key）％N，然后将这些数据重新分配给负责处理Ath分区的节点。 每个节点可以负责处理多个分区。

在混洗之后，节点将努力聚合他们负责的分区中的数据。 由于此处不需要进行额外的改组，因此节点可以直接生成输出。

总而言之，您的输出将合并为N个分区，但它会合并，因为它在N个分区中处理，而不是因为spark应用一个额外的shuffle阶段来专门将输出数据重新分区为N.

Answer 2

Spark.sql.shuffle.partitions是在进行连接（如连接或聚合）时决定分区数量的参数，即跨节点的数据移动。 另一部分spark.default.parallelism将根据您的数据大小和最大块大小计算，在HDFS中它是128mb。 因此，如果您的工作没有进行任何随机播放，则会考虑默认的并行度值，或者如果您使用的是rdd，则可以自行设置。 虽然洗牌发生，但需要200。

Val df = sc.parallelize（List（1,2,3,4,5），4）.toDF（）df.count（）//这将使用4个分区

Val df1 = df df1.except（df）.count //将生成200个具有2个阶段的分区