java.lang.OutofMemoryError：Java堆空间从pyspark中的rdd收集很多元素

Question

我试图从pyspark中的rdd收集大量项目。我收到此错误java.lang.OutofMemoryError：Java堆空间。 我认为增加Java堆空间会有所帮助。

我尝试了以下命令java -Xmx2g以增加Java堆空间，但它不起作用。

还有其他想法吗？ 谢谢！

Answer 1

您可以通过设置spark.driver.memory和spark.executor.memory来控制Spark驱动程序和执行程序进程可以使用的内存量。

例如，您可以这样运行Spark：

/bin/spark-submit --name "My app" --master local[4] \
    --conf spark.driver.memory=2g \
    --conf spark.executor.memory=2g myApp.jar

您可以通过几种不同的方式配置这些属性，请参见Spark配置上的文档 。