我是否将 spark.default.parallelism 设置得太低？

Question

在 EMR 上运行输入为 5.5TB 的 Spark 作业，得到java.io.IOException: Connection reset by peer

集群详情：

• Master：1x m4.large（以集群模式运行）
• 核心：15x r5.12xlarge

Spark 环境变量集：

• spark.executor.cores：5
• spark.driver.cores：5
• spark.executor.memory：37g
• spark.driver.memory：37g
• spark.executor.memory 开销：5g
• spark.default.parallelism: 2680
• spark.sql.shuffle.partitions：2680
• spark.executor.extraJavaOptions: -XX:+UseG1GC
• spark.serializer：org.apache.spark.serializer.KryoSerializer

洗牌后第一阶段作业失败，这是Ganglia的截图。 注意：利用率下降与失败阶段开始时匹配，作业失败并在 13:17 重新启动：

我的问题：

这个失败是因为设置 spark.default.parallelism 太低导致的吗？

我看到上一阶段的 shuffle write 是 11.3 TB，失败的阶段有 8040 个任务，这是否意味着新阶段中的每个分区的重量为 11.3 TB / 8040？