如何增加Spark Amazon EC2集群上的Java堆空間？
[英]How to increase Java heap space on Spark Amazon EC2 cluster?
問題描述
我用Java Spark API編寫了一個程序。 鑒於我的數據很大，我收到以下錯誤
java.lang.OutOfMemoryError：Java堆空間
知道如何在Aws上增加Spark EC2集群的Java堆空間嗎？ 如有必要，我可以提供有關代碼和群集設置的詳細信息。 謝謝。
1 個解決方案
解決方案1
4 已采納 2015-04-30 00:13:17
我可以通過添加兩個標志來增加堆空間，同時將應用程序jar提交給spark-submit。
--executor-memory 10g --driver-memory 2g
如何在java中以編程方式啟動和停止Amazon EC2實例
[英]How to start and stop an Amazon EC2 instance programmatically in java
如何在Amazon EC2上部署Eclipse Java Web動態項目？
[英]How to deploy a Eclipse Java Web Dynamic Project on Amazon EC2?
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.