如何在下面的代码中将性能指标从准确性更改为精度，召回率和其他指标？

Question

作为scikit-learn的初学者，并尝试对虹膜数据集进行分类，我在交叉验证步骤中难以将评分标准从scoring='accuracy'为精度，查全率，f1等。 以下是完整的代码示例（ 足以从 # Test options and evaluation metric ）。

# Load libraries
import pandas
from pandas.plotting import scatter_matrix
import matplotlib.pyplot as plt
from sklearn import model_selection # for command model_selection.cross_val_score
from sklearn.metrics import classification_report
from sklearn.metrics import confusion_matrix
from sklearn.metrics import accuracy_score
from sklearn.linear_model import LogisticRegression
from sklearn.tree import DecisionTreeClassifier
from sklearn.neighbors import KNeighborsClassifier
from sklearn.discriminant_analysis import LinearDiscriminantAnalysis
from sklearn.naive_bayes import GaussianNB
from sklearn.svm import SVC



# Load dataset
url = "https://raw.githubusercontent.com/jbrownlee/Datasets/master/iris.csv"
names = ['sepal-length', 'sepal-width', 'petal-length', 'petal-width', 'class']
dataset = pandas.read_csv(url, names=names)


# Split-out validation dataset
array = dataset.values
X = array[:,0:4]
Y = array[:,4]
validation_size = 0.20
seed = 7
X_train, X_validation, Y_train, Y_validation = model_selection.train_test_split(X, Y, test_size=validation_size, random_state=seed)


# Test options and evaluation metric
seed = 7
scoring = 'accuracy'


#Below, we build and evaluate 6 different models
# Spot Check Algorithms
models = []
models.append(('LR', LogisticRegression()))
models.append(('LDA', LinearDiscriminantAnalysis()))
models.append(('KNN', KNeighborsClassifier()))
models.append(('CART', DecisionTreeClassifier()))
models.append(('NB', GaussianNB()))
models.append(('SVM', SVC()))


# evaluate each model in turn, we calculate the cv-scores, ther mean and std for each model
# 
results = []
names = []
for name, model in models:
    #below, we do k-fold cross-validation
    kfold = model_selection.KFold(n_splits=10, random_state=seed)
    cv_results = model_selection.cross_val_score(model, X_train, Y_train, cv=kfold, scoring=scoring)
    results.append(cv_results)
    names.append(name)
    msg = "%s: %f (%f)" % (name, cv_results.mean(), cv_results.std())
    print(msg)

现在，除了得分=“准确性”之外，我还要评估此多类分类问题的其他性能指标。 但是当我使用scoring ='precision'时，它会引发：

ValueError: Target is multiclass but average='binary'. Please choose another average setting.

我的问题是：

1）我想上面的事情正在发生，因为在scikit中定义了“精度”和“调用”，仅针对二进制分类进行学习-正确吗？ 如果是，那么在上面的代码中，哪个命令应该替换scoring='accuracy' ？

2）如果我要在执行k折交叉验证时计算每个折的混淆矩阵，精度和召回率，我应该键入什么命令？

3）为了进行实验，我尝试使用scoring ='balanced_accuracy'来发现：

ValueError: 'balanced_accuracy' is not a valid scoring value.

为什么当模型评估文档（ https://scikit-learn.org/stable/modules/model_evaluation.html ）明确指出balance_accuracy是一种评分方法时，会发生这种情况 ？ 我在这里很困惑，因此不胜感激一个实际的代码来展示如何评估其他性能指标！ 谢谢客栈提前！

Answer 1

1）我想上面的事情正在发生，因为在scikit中定义了“精度”和“调用”，仅针对二进制分类进行学习-正确吗？

否。精确度和召回率当然也适用于多类问题-有关精度和召回率 ，请参见文档。

如果是，那么在上面的代码中，哪个命令应该替换scoring ='accuracy'？

出现问题的原因是，正如您从上面提供的文档链接中所看到的那样，这些度量标准的默认设置是二进制分类（ average='binary' ）。 对于多类别分类，您需要指定感兴趣的特定度量的确切“版本”（有多个）； 看一下scikit-learn文档的相关页面 ，但是scoring参数的一些有效选项可能是：

'precision_macro'
'precision_micro'
'precision_weighted'
'recall_macro'
'recall_micro'
'recall_weighted'

上面的文档链接甚至包含将'recall_macro'与虹膜数据一起使用的示例-请务必进行检查。

2）如果我要在执行k折交叉验证时计算每个折的混淆矩阵，精度和召回率，我应该键入什么命令？

这并非完全无关紧要，但是您可以在我的scikit-learn中针对每种数据拆分的交叉验证指标中找到一种方法

3）为了进行实验，我尝试使用scoring ='balanced_accuracy'来发现：

  ValueError: 'balanced_accuracy' is not a valid scoring value. 

这是因为您可能正在使用scikit-learn的旧版本。 balanced_accuracy仅在v0.20中可用-您可以验证它在v0.18中不可用 。 将scikit-learn升级到v0.20，就可以了。