什么時候實現了自動 Spark RDD 分區緩存驅逐？
[英]When was automatic Spark RDD partition cache eviction implemented?
問題描述
過去 Spark 會 OOM 很多Spark java.lang.OutOfMemoryError: Java heap space
我已經注意到，如果 RDD 無法放入內存，那么最近（對我來說，自從我從 0.7 開始以來，最近是 1.6+）版本的 Spark 不會拋出 OOM。 相反，RDD 分區被逐出，因此需要重新計算它們。
我想知道是哪個版本的 Spark 進行了此更改？
我嘗試通讀了很多https://spark.apache.org/releases/，但找不到任何明確的內容。
我很確定它大約是 2.0，但找不到任何證據來證明它。
這個 Jira 似乎暗示它是在 1.6 https://issues.apache.org/jira/browse/SPARK-14289 中與統一內存管理一起實現的
1 個解決方案
解決方案1
2 2021-10-16 17:17:51
Spark錯誤：沒有足夠的空間來緩存內存中的分區rdd_8_2！可用內存為58905314字節
[英]Spark Error: Not enough space to cache partition rdd_8_2 in memory! Free memory is 58905314 bytes
在Apache Spark中對RDD進行分區，使得一個分區包含在一個文件中
[英]Partition RDD in Apache Spark such that one partition consists on one file
當使用相同的密鑰集創建兩個不同的Spark Pair RDD時，Spark會將具有相同密鑰的分區分配給同一台機器嗎？
[英]When create two different Spark Pair RDD with same key set, will Spark distribute partition with same key to the same machine?
Spark：每個Spark RDD分區的數據庫連接，並執行mapPartition
[英]Spark : DB connection per Spark RDD partition and do mapPartition
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
相關問題
在 spark 中均勻划分一個 rdd
如何通過Spark中的鍵對RDD進行分區？
從內存中觸發非緩存的RDD逐出
Spark錯誤：沒有足夠的空間來緩存內存中的分區rdd_8_2！可用內存為58905314字節
Spark RDD相當於Scala集合分區
如何在Spark中打印特定RDD分區的元素？
spark：如何用另一個RDD的每個分區壓縮一個RDD
在Apache Spark中對RDD進行分區，使得一個分區包含在一個文件中
當使用相同的密鑰集創建兩個不同的Spark Pair RDD時，Spark會將具有相同密鑰的分區分配給同一台機器嗎？
Spark：每個Spark RDD分區的數據庫連接，並執行mapPartition
相關標簽