火花執行者失敗了

Question

我正在使用databricks spark cluster（AW​​S），並測試我的scala實驗。 使用LogisticRegressionWithLBFGS算法訓練10 GB數據時遇到了一些問題。 我遇到問題的代碼塊如下：

import org.apache.spark.mllib.classification.LogisticRegressionWithLBFGS
val algorithm = new LogisticRegressionWithLBFGS()
algorithm.run(training_set)

首先，我有很多執行程序丟失失敗和java內存問題，然后我用更多分區重新分區我的training_set並且內存不足問題已經消失，但仍然得到執行程序丟失失敗。

我的群集共有72個核心和500GB內存。 任何人都能對此有所了解嗎？

Answer 1

LBFGS使用密集向量在內部存儲beta（特征權重），一切都在內存中。 因此，無論訓練集中的特征稀疏，特征的總數都是值得注意的。

因此，要解決此問題，用戶應增加執行程序內存或限制訓練集中的功能總數。