什么时候实现了自动 Spark RDD 分区缓存驱逐？
[英]When was automatic Spark RDD partition cache eviction implemented?
问题描述
过去 Spark 会 OOM 很多Spark java.lang.OutOfMemoryError: Java heap space
我已经注意到，如果 RDD 无法放入内存，那么最近（对我来说，自从我从 0.7 开始以来，最近是 1.6+）版本的 Spark 不会抛出 OOM。 相反，RDD 分区被逐出，因此需要重新计算它们。
我想知道是哪个版本的 Spark 进行了此更改？
我尝试通读了很多https://spark.apache.org/releases/，但找不到任何明确的内容。
我很确定它大约是 2.0，但找不到任何证据来证明它。
这个 Jira 似乎暗示它是在 1.6 https://issues.apache.org/jira/browse/SPARK-14289 中与统一内存管理一起实现的
1 个解决方案
解决方案1
2 2021-10-16 17:17:51
Spark错误：没有足够的空间来缓存内存中的分区rdd_8_2！可用内存为58905314字节
[英]Spark Error: Not enough space to cache partition rdd_8_2 in memory! Free memory is 58905314 bytes
在Apache Spark中对RDD进行分区，使得一个分区包含在一个文件中
[英]Partition RDD in Apache Spark such that one partition consists on one file
当使用相同的密钥集创建两个不同的Spark Pair RDD时，Spark会将具有相同密钥的分区分配给同一台机器吗？
[英]When create two different Spark Pair RDD with same key set, will Spark distribute partition with same key to the same machine?
Spark：每个Spark RDD分区的数据库连接，并执行mapPartition
[英]Spark : DB connection per Spark RDD partition and do mapPartition
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
相关问题
在 spark 中均匀划分一个 rdd
如何通过Spark中的键对RDD进行分区？
从内存中触发非缓存的RDD逐出
Spark错误：没有足够的空间来缓存内存中的分区rdd_8_2！可用内存为58905314字节
Spark RDD相当于Scala集合分区
如何在Spark中打印特定RDD分区的元素？
spark：如何用另一个RDD的每个分区压缩一个RDD
在Apache Spark中对RDD进行分区，使得一个分区包含在一个文件中
当使用相同的密钥集创建两个不同的Spark Pair RDD时，Spark会将具有相同密钥的分区分配给同一台机器吗？
Spark：每个Spark RDD分区的数据库连接，并执行mapPartition
相关标签