YARN：Spark中執行者數量和執行者核心之間有什么區別？

Question

我在AWS EMR上學習Spark。 在這個過程中，我試圖理解執行者數量（ - num-executors）和執行者核心（--executor-cores）之間的區別。 請問有人請告訴我嗎？

此外，當我試圖提交以下工作時，我收到錯誤：

spark-submit --deploy-mode cluster --master yarn --num-executors 1 --executor-cores 5   --executor-memory 1g -–conf spark.yarn.submit.waitAppCompletion=false wordcount.py s3://test/spark-example/input/input.txt s3://test/spark-example/output21

Error: Unrecognized option: -–conf

Answer 1

執行程序數是執行應用程序的不同紗線容器（思考進程/ JVM）的數量。

執行程序核心數是每個執行程序（容器）中獲得的線程數。

因此，spark應用程序的並行性（並行線程數/運行任務數）是#executors X #executor-cores 。 如果您有10個執行程序和5個執行程序核心，您將（希望）同時運行50個任務。