为什么我们需要的执行者多于Spark中的机器数量？

Question

要求执行者多于群集中可用机器的背后的逻辑是什么？

在理想的情况下，我们希望每台计算机上有1个执行器（= 1 jvm），而每台计算机上不少。
如果没有，那为什么呢？

提前致谢

Answer 1

在理想的情况下，我们希望每台计算机上有1个执行器（= 1 jvm），而每台计算机上不少。

不必要。 根据可用内存量和JVM实现，单独的虚拟机可能是更好的选择，尤其是：

• 改善大型计算机的内存管理-例如， 为什么35GB的堆内存少于32GB – Java JVM内存奇数 。
• 为了提高工作负载不稳定的容错能力-如果一个JVM发生故障，您将失去所有相应线程的工作，因此，保持较小的体积可以使事物处于受控状态。
• 为了最大程度地减少GC调整所需的精力-调整大型实例可能会非常痛苦。