Spark UI 中的任務數

Question

我是 Spark 的新手。 我有幾個關於 Spark Web UI 的問題：-

• 我已經看到 Spark 可以為同一個應用程序創建多個作業。 它在什么基礎上創造了喬布斯？

• 我了解 Spark 為單個作業創建多個階段
  洗牌邊界。 我也知道每個任務有1個
  划分。 但是，我已經看到特定作業的特定階段（例如 Stage1）創建的任務數量少於默認的 shuffle 分區值（例如僅完成2/2 ）。 而且我還看到，同一工作創造的下一個階段（第 2 階段）
  1500任務（例如1500/1500完成），超過
  默認的隨機分區值。

  那么，如何確定星火應該多少任務創建針對任何特定階段執行？

任何人都可以幫助我理解上述內容。

Answer 1

一瞬間的最大任務數取決於你的核心數和執行數，不同的階段有不同的任務數