LDA 协方差矩阵与计算的协方差矩阵不匹配

Question

我希望更好地理解 scikit-learn 的 LDA 对象返回的 covariance_ 属性。

我确定我遗漏了一些东西，但我希望它是与输入数据相关的协方差矩阵。 但是，当我将 .covariance_ 与 numpy.cov() 返回的协方差矩阵进行比较时，我得到了不同的结果。

任何人都可以帮助我了解我缺少什么吗？ 感谢并乐意提供任何其他信息。

请找到一个简单的例子来说明下面的差异。

import numpy as np
from sklearn.discriminant_analysis import LinearDiscriminantAnalysis

# Sample Data
X = np.array([[-1, -1], [-2, -1], [-3, -2], [1, 1], [2, 1], [3, 2]])
y = np.array([1, 1, 1, 0, 0, 0])

# Covariance matrix via np.cov
print(np.cov(X.T))

# Covariance matrix via LDA
clf = LinearDiscriminantAnalysis(store_covariance=True).fit(X, y)
print(clf.covariance_)

Answer 1

在sklearn.discrimnant_analysis.LinearDiscriminantAnalysis ，协方差计算如下：

In [1]: import numpy as np 
   ...: cov = np.zeros(shape=(X.shape[1], X.shape[1])) 
   ...: for c in np.unique(y): 
   ...:     Xg = X[y == c, :] 
   ...:     cov += np.count_nonzero(y==c) / len(y) * np.cov(Xg.T, bias=1) 
   ...: print(cov)
array([[0.66666667, 0.33333333],
       [0.33333333, 0.22222222]])  

所以它对应于每个单独类的协方差之和乘以类频率的先验。 注意这个先验是LDA的一个参数。