获取 roc_auc_score nan 用于多类分类的交叉验证

Question

我正在研究一个多类分类问题，其中包含 3 个类的不平衡数据，我使用 layerifiedkfolds 拆分数据并使用 SMOTE 方法对其进行过采样。 当我使用交叉验证来评估我的模型时，我得到了 F1_score 的结果，但对于 roc_auc 我只得到了 nan 值

for key, classifier in classifiers.items():
    classifier.fit(X_sm, y_sm)
    training_score1 = cross_val_score(classifier, X_sm, y_sm,scoring=make_scorer(f1_score, average='macro', labels=[2]), cv=5)
    print("Classifiers: ", classifier.__class__.__name__, "Has a training score of", round(training_score1.mean(), 2) * 100, "% F1  score")
    training_score2 = cross_val_score(classifier, X_sm, y_sm,scoring=make_scorer(roc_auc_score, average='macro',multi_class='ovo'), cv=5)
    print("Classifiers: ", classifier.__class__.__name__, "Has a training score of", round(training_score2.mean(), 2) * 100, "% Roc_auc score")

X_sm 和 y_sm 都是 arrays 并且在这种情况下的结果是：

Classifiers:  LogisticRegression Has a training score of 77.0 % F1  score
Classifiers:  LogisticRegression Has a training score of nan % Roc_auc score
Classifiers:  KNeighborsClassifier Has a training score of 94.0 % F1  score
Classifiers:  KNeighborsClassifier Has a training score of nan % Roc_auc score
Classifiers:  SVC Has a training score of 89.0 % F1  score
Classifiers:  SVC Has a training score of nan % Roc_auc score
Classifiers:  DecisionTreeClassifier Has a training score of 83.0 % F1  score
Classifiers:  DecisionTreeClassifier Has a training score of nan % Roc_auc score

我尝试使用cross_validate但它对我不起作用。

Answer 1

auROC 指标需要连续的置信度测量，而不是硬的 class 预测，因此您需要设置needs_proba=True或needs_threshold=True 。 后者使用分类器的decision_function或predict_proba ，而第一个只尝试使用predict_proba ； 由于 SVM 本身不是概率性的，因此您需要needs_threshold 。 （不要为 F1 设置其中任何一个，它只使用硬 class 预测。）