如何动态选择spark.sql.shuffle.partitions

Question

我目前正在处理使用火花和foreach分区开到MySQL的连接，并将其插入到一批1000数据库中的数据正如提到SparkDocumentation的默认值spark.sql.shuffle.partitions是200，但我想保持它充满活力。 那么，我该如何计算呢。 因此，既没有选择非常高的值导致性能下降也没有选择非常小的值导致OOM 。

Answer 1

尝试以下选项 -

val numExecutors         = spark.conf.get("spark.executor.instances").toInt

val numExecutorsCores    = spark.conf.get("spark.executor.cores").toInt

val numShufflePartitions = (numExecutors * numExecutorsCores)

spark.conf.set("spark.sql.shuffle.partitions", numShufflePartitions)

这将帮助您根据用于spark作业的执行程序和执行程序核心设置正确数量的随机分区，而不会影响性能并导致内存不足问题。

如果你仍然离开了记忆，他们设置在下面的财产 -

spark.conf.set("spark.executor.memoryOverhead", "3G")

其他选项是计算数据Dataframe大小， didvie hdfs块大小执行，并使用结果数设置spark.sql.shuffle.partitions 。

Answer 2

您可以使用df.repartition（numPartitions）方法执行此操作。 您可以根据输入/中间输出做出决定，并将numPartitions传递给repartition（）方法。

df.repartition(numPartitions)   or rdd.repartition(numPartitions)