如何計算scikit-learn cross_val_predict准確度分數？

Question

使用如下代碼中所示的k -fold方法的cross_val_predict （參見doc ，v0.18）是否計算每次折疊的准確度並最終平均它們？

cv = KFold(len(labels), n_folds=20)
clf = SVC()
ypred = cross_val_predict(clf, td, labels, cv=cv)
accuracy = accuracy_score(labels, ypred)
print accuracy

Answer 1

不，不是的！

根據交叉驗證文檔頁面， cross_val_predict不會返回任何分數，只會返回基於此處描述的特定策略的標簽：

函數cross_val_predict具有與cross_val_score類似的接口， 但是對於輸入中的每個元素，返回當它在測試集中時為該元素獲得的預測 。 只能使用將所有元素分配給測試集一次的交叉驗證策略（否則會引發異常）。

因此，通過調用accuracy_score(labels, ypred) 您只需計算上述特定策略與真實標簽相比預測的標簽的准確度分數 。 這再次在同一文檔頁面中指定：

然后可以使用這些預測來評估分類器：

 predicted = cross_val_predict(clf, iris.data, iris.target, cv=10) metrics.accuracy_score(iris.target, predicted) 

注意，該計算的結果可能與使用cross_val_score獲得的結果略有不同，因為元素以不同方式分組。

如果您需要不同折疊的准確度分數，您應該嘗試：

>>> scores = cross_val_score(clf, X, y, cv=cv)
>>> scores                                              
array([ 0.96...,  1.  ...,  0.96...,  0.96...,  1.        ])

然后對於所有折疊的平均准確度使用scores.mean() ：

>>> print("Accuracy: %0.2f (+/- %0.2f)" % (scores.mean(), scores.std() * 2))
Accuracy: 0.98 (+/- 0.03)

---

如何計算每個折疊的Cohen kappa系數和混淆矩陣？

為了計算Cohen Kappa coefficient和混淆矩陣，我假設你的意思是真實標簽和每個折疊的預測標簽之間的kappa系數和混淆矩陣：

from sklearn.model_selection import KFold
from sklearn.svm.classes import SVC
from sklearn.metrics.classification import cohen_kappa_score
from sklearn.metrics import confusion_matrix

cv = KFold(len(labels), n_folds=20)
clf = SVC()
for train_index, test_index in cv.split(X):
    clf.fit(X[train_index], labels[train_index])
    ypred = clf.predict(X[test_index])
    kappa_score = cohen_kappa_score(labels[test_index], ypred)
    confusion_matrix = confusion_matrix(labels[test_index], ypred)

---

cross_val_predict返回什么？

它使用KFold將數據拆分為k部分，然后進行i=1..k迭代：

• 采用i'th部分作為測試數據和其他所有部分作為訓練數據
• 培訓與訓練數據模型（除所有部分i'th ）
• 然后通過使用該訓練的模型，預測標簽i'th部分（測試數據）

在每次迭代中，預測了i'th部分數據的標簽。 最后，cross_val_predict合並所有部分預測的標簽並將它們作為最終結果返回。

此代碼逐步顯示此過程：

X = np.array([[0], [1], [2], [3], [4], [5]])
labels = np.array(['a', 'a', 'a', 'b', 'b', 'b'])

cv = KFold(len(labels), n_folds=3)
clf = SVC()
ypred_all = np.chararray((labels.shape))
i = 1
for train_index, test_index in cv.split(X):
    print("iteration", i, ":")
    print("train indices:", train_index)
    print("train data:", X[train_index])
    print("test indices:", test_index)
    print("test data:", X[test_index])
    clf.fit(X[train_index], labels[train_index])
    ypred = clf.predict(X[test_index])
    print("predicted labels for data of indices", test_index, "are:", ypred)
    ypred_all[test_index] = ypred
    print("merged predicted labels:", ypred_all)
    i = i+1
    print("=====================================")
y_cross_val_predict = cross_val_predict(clf, X, labels, cv=cv)
print("predicted labels by cross_val_predict:", y_cross_val_predict)

結果是：

iteration 1 :
train indices: [2 3 4 5]
train data: [[2] [3] [4] [5]]
test indices: [0 1]
test data: [[0] [1]]
predicted labels for data of indices [0 1] are: ['b' 'b']
merged predicted labels: ['b' 'b' '' '' '' '']
=====================================
iteration 2 :
train indices: [0 1 4 5]
train data: [[0] [1] [4] [5]]
test indices: [2 3]
test data: [[2] [3]]
predicted labels for data of indices [2 3] are: ['a' 'b']
merged predicted labels: ['b' 'b' 'a' 'b' '' '']
=====================================
iteration 3 :
train indices: [0 1 2 3]
train data: [[0] [1] [2] [3]]
test indices: [4 5]
test data: [[4] [5]]
predicted labels for data of indices [4 5] are: ['a' 'a']
merged predicted labels: ['b' 'b' 'a' 'b' 'a' 'a']
=====================================
predicted labels by cross_val_predict: ['b' 'b' 'a' 'b' 'a' 'a']

Answer 2

正如你可以從github上的cross_val_predict代碼中看到的cross_val_predict ，該函數計算預測的每個折疊並將它們連接起來。 預測是基於從其他折疊中學習的模型進行的。

以下是代碼與代碼中提供的示例的組合

from sklearn import datasets, linear_model
from sklearn.model_selection import cross_val_predict, KFold
from sklearn.metrics import accuracy_score

diabetes = datasets.load_diabetes()
X = diabetes.data[:400]
y = diabetes.target[:400]
cv = KFold(n_splits=20)
lasso = linear_model.Lasso()
y_pred = cross_val_predict(lasso, X, y, cv=cv)
accuracy = accuracy_score(y_pred.astype(int), y.astype(int))

print(accuracy)
# >>> 0.0075

最后，回答你的問題： “不，每次折疊的准確性不是平均的”

Answer 3

正如它在文檔sklearn.model_selection.cross_val_predict中所寫 ：

將這些預測傳遞給評估指標是不合適的。 使用cross_validate來度量泛化錯誤。

Answer 4

我想添加一個快速簡單的答案選項，高於之前開發人員的貢獻。

如果你取F1的微觀平均值，你將獲得准確率。 例如，那將是：

from sklearn.model_selection import cross_val_score, cross_val_predict
from sklearn.metrics import precision_recall_fscore_support as score    

y_pred = cross_val_predict(lm,df,y,cv=5)
precision, recall, fscore, support = score(y, y_pred, average='micro') 
print(fscore)

這在數學上是有效的，因為微觀平均值給出了混淆矩陣的加權平均值。

祝好運。