spark-submit：“ --master local [n]”和“ --master local --executor-cores m”之間的區別

Question

我有一台雙核計算機（每個核有2個線程）。 我使用2個不同的spark-submit參數運行一個Spark作業。

spark-submit --master local[4]

spark-submit --master local --executor-cores 2

上面兩個示例之間真的有區別嗎？ 我試圖讓Spark為Spark“任務”使用4個線程，每個物理核心上2個線程。

Answer 1

首先， --executor-cores spark.executor.cores --executor-cores參數或spark.executor.cores配置選項不適用於本地模式。 結果是：

• --master local[4]使用四個工作線程以本地模式啟動Spark。
• --master local使用一個工作線程以本地模式啟動Spark。 --executor-core無效。

這僅考慮“數據處理”線程。 Spark使用的線程總數可能會大得多。

如果您不打算使用操作系統和調度細節，那么第一個選擇就是您要使用四個線程的情況。