Apache Spark執行者數量

Question

我在databricks上有Spark應用程序，在32個節點，每個16核和30gb內存的群集上運行它。 我想更改一些會話配置，但是無論我進行什么更改，我都無法使執行者數量超過32（如執行者頁面spark ui所示）？ 這些配置我已經改變了：

spark.executor.instances
spark.executor.memory 
spark.executor.cores

據我了解，並發任務的最大數量應該為5，所以我想使每個節點有4個執行程序，每個執行程序都使用4個核心...執行程序總數-128。我該怎么做？

親切的問候，斯特凡

Answer 1

對於Spark建立與最新版本，我們可以設置參數： --executor-cores和--total-executor-cores 。 執行者總數為total-executor-cores/executor-cores

試試這個：

spark-submit  --executor-memory 4g --executor-cores 4 --total-executor-cores 512