在Spark線性回歸中獲得協方差矩陣

Question

我一直在研究Spark的文檔，但在進行線性回歸后仍然無法找到如何獲得協方差矩陣。

給定的輸入訓練數據，我做了類似的一個非常簡單的線性回歸這個 ：

val lr = new LinearRegression()
val fit = lr.fit(training)

獲取回歸參數與fit.coefficients一樣簡單，但似乎沒有關於如何獲得協方差矩陣的信息。

只是為了澄清，我正在尋找類似於R中的vcov功能。有了這個，我應該能夠做類似vcov(fit)東西來獲得協方差矩陣。 任何其他有助於實現這一目標的方法也是可以的。

---

編輯

這里詳細討論如何從線性回歸得到協方差矩陣的解釋。 由fit.summary.meanSsquaredError提供的標准偏差很容易獲得。 但是，參數（X'X） ^-1很難得到。 看看這是否可用於以某種方式計算協方差矩陣將是有趣的。

Answer 1

雖然整個協方差矩陣是在驅動程序上收集的，但如果不制作自己的求解器 ，則無法獲得它。 您可以通過復制WLS並設置其他“getters”來實現。

最接近代碼的是lrModel.summary.coefficientStandardErrors ，它基於倒置矩陣的對角線（A ^ T * W * A），它基於上三角矩陣（協方差）。

我認為這不足以讓我感到抱歉。