火花執行器記憶減少到1/2

Question

我正在做一個像spark這樣的spark-submit --class com.mine.myclass --master yarn-cluster --num-executors 3 --executor-memory 4G spark-examples_2.10-1.0.jar

在web ui中，我確實可以看到有3個執行器節點，但每個節點都有2G內存。 當我設置--executor-memory 2G時，ui每個節點顯示1G。

如何將我的設置減少1/2？

Answer 1

Web UI的執行程序頁面顯示了存儲內存量，默認情況下等於Java堆的54％（spark.storage.safetyFraction 0.9 * spark.storage.memoryFraction 0.6）