“spark.yarn.executor.memoryOverhead”設置的值？

Question

具有YARN的Spark作業中spark.yarn.executor.memoryOverhead的值應該分配給App還是僅分配給最大值？

Answer 1

spark.yarn.executor.memoryOverhead

只是最大值。目標是將OVERHEAD計算為實際執行程序內存的百分比，如RDD和DataFrames所使用的那樣

--executor-memory/spark.executor.memory

控制執行程序堆大小，但JVM也可以使用堆內存，例如對於實例化的字符串和直接字節緩沖區。

spark.yarn.executor.memoryOverhead屬性的值將添加到執行程序內存中，以確定每個執行程序對YARN的完整內存請求。 默認為max（executorMemory * 0.10，最小值為384）。

執行人將使用基於財產內存分配spark.executor.memory通過定義加上開銷spark.yarn.executor.memoryOverhead