OOM从实木复合地板加载数据

Question

我们有一个Apache Spark 1.4.0集群，我们希望从HDFS的一组350个镶木文件中加载数据。 当前，当我们尝试运行我们的程序时，我们得到了“ OutOfMemory Error”驱动程序端。 对执行程序和驱动程序进行性能分析时，我们注意到在操作期间，当驱动程序内存不断增加时，执行程序内存将保持不变。 对于每个镶木地板文件，我们按以下方式加载数据：

sqlContext.read().format(PARQUET_OUT_TYPE).load("path").toJavaRDD(mappingFunction)

然后，我们通过“联盟”加入RDD，然后将它们合并

partitions.reduce((r1,r2) -> r1.union(r2).coalesce(PARTITION_COUNT))

在我看来，真正令我感到奇怪的是，执行程序内存在加载阶段保持不变（当我希望看到它增加时，由于节点读取的数据的原因），而驱动程序内存却在不断增加（当我希望看到它保持恒定时）。因为不应将其加载到驱动程序内存中）。

加载数据的方式有问题吗？ 您能解释一下如何并行读取实木复合地板中的数据吗？

谢谢

Answer 1

OOM是由实木复合地板元数据而不是数据引起的。

谢谢