集群上的 Spark 進程是一個 java 進程

Question

我對java了解不多。 任何人都可以為我解釋這條線。

“任何可以在你的集群或本地機器上運行的 apache Spark 進程都是一個 JVM 進程。”

Answer 1

Spark基於驅動程序和執行程序的概念，其中驅動程序是master，執行程序是slave。 spark中有兩種操作：轉換和動作。 雖然只有 Driver 可以發起一項操作，但 Executors 是實際執行操作的人。 所以你可以說無論在spark執行中發生什么，驅動程序和執行程序只有一個負責。 而驅動程序和執行程序只不過是 JVM 進程或 JVM 容器（紗線）。 所以每個操作都只由 JVM 進程（驅動程序和執行程序）執行。 希望這可以解釋您的查詢。