如何控制在yarn-client模式下运行多少个executor？

Question

我有一个由 5 个节点组成的 Hadoop 集群，其中 Spark 以yarn-client模式运行。

我使用--num-executors作为--num-executors程序的数量。 我能得到的最大执行者数量是 20。即使我指定更多，我也只能得到 20 个执行者。

可以分配的执行程序数量是否有上限？ 是配置还是根据可用资源做出决定？

Answer 1

显然，您的 20 个正在运行的执行程序消耗了所有可用内存。 您可以尝试使用spark.executor.memory参数减少 Executor 内存，这应该为其他 executor 产生更多的空间。

另外，您确定正确设置了执行者编号吗？ 您可以通过查看环境选项卡中的spark.executor.instances值，从 Spark UI 视图验证您的环境设置。

编辑：正如 Mateusz Dymczyk 在评论中指出的那样，有限数量的 executors 可能不仅是由过度使用的 RAM 内存引起的，还可能是由 CPU 内核引起的。 在这两种情况下，限制都来自资源管理器。