“spark.yarn.executor.memoryOverhead”设置的值？

Question

具有YARN的Spark作业中spark.yarn.executor.memoryOverhead的值应该分配给App还是仅分配给最大值？

Answer 1

spark.yarn.executor.memoryOverhead

只是最大值。目标是将OVERHEAD计算为实际执行程序内存的百分比，如RDD和DataFrames所使用的那样

--executor-memory/spark.executor.memory

控制执行程序堆大小，但JVM也可以使用堆内存，例如对于实例化的字符串和直接字节缓冲区。

spark.yarn.executor.memoryOverhead属性的值将添加到执行程序内存中，以确定每个执行程序对YARN的完整内存请求。 默认为max（executorMemory * 0.10，最小值为384）。

执行人将使用基于财产内存分配spark.executor.memory通过定义加上开销spark.yarn.executor.memoryOverhead