如何解决java.lang.OutOfMemoryError：在Spark中训练word2vec模型时的Java堆空间？

Question

Solu：我把params驱动程序内存40G放在spark-submit中。

---

问：我的Spark集群由5个ubuntu服务器组成，每个服务器有80G内存和24个内核。 word2vec大约是10G newsdata。 我用这样的独立模式提交作业：

spark-submit --name trainNewsdata --class Word2Vec.trainNewsData --master spark：// master：7077 --executor-memory 70G --total-executor-cores 96 sogou.jar hdfs：// master：9000 / user / bd / newsdata / * hdfs：// master：9000 / user / bd / word2vecModel_newsdata

当我在spark中训练word2vec模型时，我发生：线程“main”中的异常java.lang.OutOfMemoryError：Java堆空间，我不知道如何解决它，请帮帮我:)

Answer 1

我把params驱动程序内存40G放在spark-submit中，然后解决它。