Apache Spark：限制Spark App使用的执行程序数量

Question

是否可以限制一个应用程序在Spark上使用的执行程序的数量？ 我可以使用spark.executor.instances设置执行程序的初始数量，但是稍后在我的应用程序中，Spark似乎会自己添加它可以添加的所有可用执行程序。

这使其无法在群集上同时运行其他作业。 谷歌搜索使我知道解决方案，但是spark.cores.max似乎对限制执行者的总数无效。

Answer 1

spark.dynamicAllocation.maxExecutors=infinity

默认情况下，此属性为无穷大，您可以设置此属性以限制执行程序的数量。