Logistic回歸如何在Spark中並行化？

Question

我想對ML庫中用於並行化邏輯回歸的方法有一些了解，我已經嘗試檢查源代碼，但是我不理解該過程。

Answer 1

Spark使用所謂的迷你批處理梯度下降進行回歸：

http://ruder.io/optimizing-gradient-descent/index.html#minibatchgradientdescent

簡而言之，它的工作方式如下：

1. 選擇數據樣本
2. 計算樣本每一行的梯度
3. 匯總漸變
4. 返回步驟1

Spark的實際優化代碼來自以下行： https : //github.com/apache/spark/blob/master/mllib/src/main/scala/org/apache/spark/mllib/optimization/GradientDescent.scala#L234