Spark執行程序如何運行多個任務？

Question

例如，如果執行程序的數量是40，但任務數是80，這意味着每個執行程序將並行運行兩個任務。 此外，我的函數（執行哪些任務）不是正常的函數，但我在其中調用程序。 因此，每項任務實際上需要幾分鍾才能完成。 所以，我的問題是，Spark如何管理它？ 這些任務會共享執行程序的JVM嗎？ 核心數量如何，它將在這兩個任務之間分配？ 如果不希望這兩個任務同時運行，但是以循環方式執行它們，即運行第一個任務與所有執行程序的核心，並且只有在完成后運行第二個任務，該怎么辦？

Answer 1

這取決於您如何分配資源，即核心數，每個執行程序的核心數和分配的內存數。 它還取決於您如何編程以獲得最大並行度。

它還取決於您如何編碼以獲得最大並行度。 如果有兩個任務並且它們彼此獨立，它們將並行運行。 如果一個任務依賴於先前任務的結果，則它們將以串行方式執行。

是的，通過制作兩個執行程序並為其分配可用核心，可以將核心數分為兩個任務。

要以循環方式執行任務，您需要定義分區方案並根據它分配資源。 這將確保每個任務在執行其他任務后執行。