spark.sql.shuffle.partitions 和 spark.default.parallelism 有什么区别？

Question

spark.sql.shuffle.partitions和spark.default.parallelism之间有什么区别？

我尝试在SparkSQL中设置它们，但是第二阶段的任务号始终是 200。

Answer 1

从这里的答案来看， spark.sql.shuffle.partitions配置了混洗数据以进行连接或聚合时使用的分区数。

spark.default.parallelism是RDD由join 、 reduceByKey和parallelize等转换返回的默认分区数，当用户未明确设置时。 请注意， spark.default.parallelism似乎只适用于原始RDD ，在处理数据帧时会被忽略。

如果您正在执行的任务不是连接或聚合，并且您正在使用数据帧，那么设置这些将不会产生任何影响。 但是，您可以通过在代码中调用df.repartition(numOfPartitions) （不要忘记将其分配给新的val ）来自己设置分区数。

---

要更改代码中的设置，您只需执行以下操作：

sqlContext.setConf("spark.sql.shuffle.partitions", "300")
sqlContext.setConf("spark.default.parallelism", "300")

或者，您可以在使用spark-submit将作业提交到集群时进行更改：

./bin/spark-submit --conf spark.sql.shuffle.partitions=300 --conf spark.default.parallelism=300

Answer 2

spark.default.parallelism是 spark 设置的默认分区数，默认为 200。如果你想增加分区数，你可以应用属性spark.sql.shuffle.partitions来设置分区数spark 配置或在运行 spark SQL 时。

通常这个spark.sql.shuffle.partitions当我们有内存拥塞并且我们看到以下错误时会使用它：spark error:java.lang.IllegalArgumentException: Size exceeded Integer.MAX_VALUE

所以设置你可以为每个分区分配一个 256 MB 的分区，你可以用它来设置你的进程。

此外，如果分区数接近 2000，则将其增加到 2000 以上。由于 spark 对 <2000 和 > 2000 的分区应用不同的逻辑，这将通过减少内存占用来提高代码性能，因为如果 >2000，数据默认值会被高度压缩。

Answer 3

如果有人可能想知道，当设置spark.sql.shuffle.partitions可能变得无效时，确实存在特殊情况。 当您重新启动具有相同检查点位置的结构化流式 Spark 应用程序时，更改此术语不会生效。 在https://spark.apache.org/docs/latest/configuration.html#runtime-sql-configuration中查看更多信息

Answer 4

添加到已经发布的一些很棒的答案中：

TLDR

• spark.sql.shuffle.partitions ：
  • 确定在对Dataframes/Datasets进行广泛操作后将拥有多少个 output 分区。
  • 它的默认值为 200。
• spark.default.parallelism ：
  • 是一个更复杂的参数，在 Spark 中更“深入”。 它影响：
    • 如果不指定数量，对RDD进行广泛操作后将拥有多少个分区
    • sc.parallelize创建了多少个分区
    • 执行spark.read.csv时读取了多少个分区，...
  • 它的默认值取决于您在哪种类型的集群上执行何种类型的操作。

spark.sql.shuffle.partitions

从文档：

为连接或聚合混洗数据时使用的默认分区数。 注意：对于结构化流，此配置不能在从同一检查点位置重新启动的查询之间更改。

从 Spark 3.3.1（本文发布时的最新版本） SQLConf.scala中可以看出， spark.sql.shuffle.partitions的默认值为 200。

  val SHUFFLE_PARTITIONS = buildConf("spark.sql.shuffle.partitions")
    .doc("The default number of partitions to use when shuffling data for joins or aggregations. " +
      "Note: For structured streaming, this configuration cannot be changed between query " +
      "restarts from the same checkpoint location.")
    .version("1.1.0")
    .intConf
    .checkValue(_ > 0, "The value of spark.sql.shuffle.partitions must be positive")
    .createWithDefault(200)

结论：这是一个可以对数据帧/数据集上的广泛转换（连接、排序等）产生直接影响的值。 您将能够使用此参数配置这些宽转换的 output 个分区的数量。

spark.default.parallelism

从文档：

当用户未设置时，由连接、reduceByKey 和并行化等转换返回的 RDD 中的默认分区数。

关于它的默认值：

对于像reduceByKey和join这样的分布式洗牌操作，父 RDD 中的最大分区数。 对于像没有父 RDD 的parallelize这样的操作，它取决于集群管理器：

• 本地模式：本地机器上的核心数
• Mesos 细粒度模式：8
• 其他：所有执行器节点上的核心总数或2，以较大者为准

所以我们已经看到这个参数有点复杂。 它没有真正的默认值，但您可以设置它。 如果我们看一些代码，这会变得更清楚。

在SparkContext.scala中，我们看到defaultParallelism是如何定义的：

/** Default level of parallelism to use when not given by user (e.g. parallelize and makeRDD). */
def defaultParallelism: Int = {
  assertNotStopped()
  taskScheduler.defaultParallelism
}

所以我们看到这个defaultParallelism依赖于 taskScheduler 的类型（比如 docs 状态）。 让我们来看看那些：

• 本地模式：

override def defaultParallelism(): Int =
  scheduler.conf.getInt("spark.default.parallelism", totalCores)

• Mesos 细粒度模式：

override def defaultParallelism(): Int = sc.conf.getInt("spark.default.parallelism", 8)

• 其他（ CoarseGrainSchedulerBackend ）：

override def defaultParallelism(): Int = {
  conf.getInt("spark.default.parallelism", math.max(totalCoreCount.get(), 2))
}

好的，现在我们明白这个值有点复杂让我们试着弄清楚它何时相关：

• 在对RDD进行广泛的转换时。 join 、 reduceByKey 、 groupByKey等都使用defaultPartitioner如果没有给出分区作为输入参数。 在那个defaultPartitioner中， spark.default.parallelism用于确定分区的数量。
• 在Seq上调用sc.parallelize时。 根据您的集群管理器，您将获得 output 个分区，如上所述。
• 在读入数据时（例如spark.read.csv ），会影响读入多少个分区。在DataSourceScanExec的createReadRDD function中，读入output个分区的数量受maxSplitBytes的影响function，它本身受spark.default.parallelism的影响，如SO answer中所述。
• 我确定它在更多地方使用，但我希望这已经给出了关于此参数的更多直觉。