Spark-1.6.0 +：spark.shuffle.memoryFraction已過時-何時會發生泄漏？

Question

基於最新版本的Spark ， shuffle behavior已發生了很大變化。

問題 ： SparkUI已停止顯示是否spill （和spill ）。 在我的實驗之一，我試圖模擬的情況下上執行洗牌寫將超過“JVM Heap Size” * spark.shuffle.memoryFraction * spark.shuffle.safetyFraction （基於文章 ），但沒有看到任何相關的磁盤溢出日志。 有沒有辦法獲取此信息？

PS ：如果這聽起來是理論上的問題，請原諒。

Answer 1

使用Spark 1.6.0 ，更新了內存管理系統。 簡而言之，不再有專用的高速緩存/混洗內存。 所有內存均可用於任何一種操作。 從發行說明

自動內存管理：Spark 1.6的另一項性能提升來自更好的內存管理。 在Spark 1.6之前，Spark將可用內存靜態划分為兩個區域：執行內存和緩存內存。 執行內存是用於排序，散列和改組的區域，而緩存則用於緩存熱數據。 Spark 1.6引入了新的內存管理器，可以自動調整不同內存區域的大小。 運行時會根據正在執行的應用程序的需求自動增大和縮小區域。 對於許多應用程序，這將意味着可用內存的顯着增加，該內存可用於聯接和聚合之類的運算符，而無需任何用戶調整。

這張jira票證給出了更改的背景原因， 本文深入討論了新的內存管理系統。