Spark UI 中的任务数

Question

我是 Spark 的新手。 我有几个关于 Spark Web UI 的问题：-

• 我已经看到 Spark 可以为同一个应用程序创建多个作业。 它在什么基础上创造了乔布斯？

• 我了解 Spark 为单个作业创建多个阶段
  洗牌边界。 我也知道每个任务有1个
  划分。 但是，我已经看到特定作业的特定阶段（例如 Stage1）创建的任务数量少于默认的 shuffle 分区值（例如仅完成2/2 ）。 而且我还看到，同一工作创造的下一个阶段（第 2 阶段）
  1500任务（例如1500/1500完成），超过
  默认的随机分区值。

  那么，如何确定星火应该多少任务创建针对任何特定阶段执行？

任何人都可以帮助我理解上述内容。

Answer 1

一瞬间的最大任务数取决于你的核心数和执行数，不同的阶段有不同的任务数