Spark 合并不会减少分区数

Question

我有这个代码

df.coalesce(40)

print(" after coalisce getting nb partition " + str(df.rdd.getNumPartitions()))

它不是打印 40，我做错了什么吗？

Answer 1

尝试这样做：

df_new=df.coalesce(40)
print(" after coalisce getting nb partition " + str(df_new.rdd.getNumPartitions()))

Coalesce 返回一个新的 rdd，而不是进行就地更改。

Answer 2

合并方法返回一个转换后的数据帧。 它不会修改原始数据框。 您必须在应用合并转换后获取分区数。

例如，在 8 核机器上运行的 spark shell 返回以下输出。

 scala> df.rdd.getNumPartitions
 res3: Int = 8

应用合并后，您将获得所需的输出

 scala> df.coalesce(1).rdd.getNumPartitions
 res1: Int = 1

Answer 3

我建议您先浏览 spark 架构，然后尝试理解不可变对象的概念。 这将帮助您更好地了解其他用户提供的上述回复。