Apache Spark执行者数量

Question

我在databricks上有Spark应用程序，在32个节点，每个16核和30gb内存的群集上运行它。 我想更改一些会话配置，但是无论我进行什么更改，我都无法使执行者数量超过32（如执行者页面spark ui所示）？ 这些配置我已经改变了：

spark.executor.instances
spark.executor.memory 
spark.executor.cores

据我了解，并发任务的最大数量应该为5，所以我想使每个节点有4个执行程序，每个执行程序都使用4个核心...执行程序总数-128。我该怎么做？

亲切的问候，斯特凡

Answer 1

对于Spark建立与最新版本，我们可以设置参数： --executor-cores和--total-executor-cores 。 执行者总数为total-executor-cores/executor-cores

试试这个：

spark-submit  --executor-memory 4g --executor-cores 4 --total-executor-cores 512