Logistic回归如何在Spark中并行化？

Question

我想对ML库中用于并行化逻辑回归的方法有一些了解，我已经尝试检查源代码，但是我不理解该过程。

Answer 1

Spark使用所谓的迷你批处理梯度下降进行回归：

http://ruder.io/optimizing-gradient-descent/index.html#minibatchgradientdescent

简而言之，它的工作方式如下：

1. 选择数据样本
2. 计算样本每一行的梯度
3. 汇总渐变
4. 返回步骤1

Spark的实际优化代码来自以下行： https : //github.com/apache/spark/blob/master/mllib/src/main/scala/org/apache/spark/mllib/optimization/GradientDescent.scala#L234