如何获得多类分类问题中每个类的精度分数？

Question

我正在做情绪分析分类，我正在用 Scikit-learn 做它。 这有 3 个标签，正面、中性和负面。 我的训练数据的形状是(14640, 15) ，其中

negative    9178
neutral     3099
positive    2363

我已经对数据进行了预处理，并将bag-of-words词向量化技术应用于 twitter 的文本，因为还有许多其他属性，其大小为(14640, 1000) 。 由于 Y 表示标签采用文本形式，因此我对其应用了 LabelEncoder。 这就是我拆分数据集的方式 -

X_train, X_test, Y_train, Y_test = train_test_split(bow, Y, test_size=0.3, random_state=42)
print(X_train.shape,Y_train.shape)
print(X_test.shape,Y_test.shape)

out: (10248, 1000) (10248,)
     (4392, 1000) (4392,)

这是我的分类器

svc = svm.SVC(kernel='linear', C=1, probability=True).fit(X_train, Y_train) 
prediction = svc.predict_proba(X_test) 
prediction_int = prediction[:,1] >= 0.3 
prediction_int = prediction_int.astype(np.int) 
print('Precision score: ', precision_score(Y_test, prediction_int, average=None))
print('Accuracy Score: ', accuracy_score(Y_test, prediction_int))

out:Precision score:  [0.73980398 0.48169243 0.        ]
Accuracy Score:  0.6675774134790529
/usr/local/lib/python3.6/dist-packages/sklearn/metrics/classification.py:1437: UndefinedMetricWarning: Precision is ill-defined and being set to 0.0 in labels with no predicted samples.
  'precision', 'predicted', average, warn_for)

现在我不知道为什么第三个，精度分数是空白的？ 我已经应用了average=None ，因为为每个班级制作单独的精度分数。 另外，我不确定预测是否正确，因为我是为二进制分类编写的？ 你能帮我调试一下以使其更好吗？ 提前致谢。

Answer 1

正如警告所解释的那样：

UndefinedMetricWarning: Precision is ill-defined and being set to 0.0 in labels with no predicted samples.

您的预测中似乎缺少您的 3 个类之一prediction_int （即您从未预测过它）； 您可以轻松检查是否是这种情况

set(Y_test) - set(prediction_int)

如果不是这种情况，它应该是空集{} 。

如果确实如此，并且上述操作给出{1}或{2} ，最可能的原因是您的数据集不平衡（您有更多的negative样本），并且您没有要求分层拆分； 将您的train_test_split修改为

X_train, X_test, Y_train, Y_test = train_test_split(bow, Y, test_size=0.3, stratify=Y, random_state=42)

然后再试一次。

更新（评论后）：

事实证明，您有一个类不平衡问题（而不是编码问题），这会阻止您的分类器成功预测您的第三类（ positive ）。 类不平衡本身就是一个巨大的子主题，并且提出了几种补救措施。 尽管可以说更详细的内容超出了单个 SO 线程的范围，但您应该尝试的第一件事（在上述建议之上）是在分类器的定义中使用class_weight='balanced'参数，即：

svc = svm.SVC(kernel='linear', C=1, probability=True, class_weight='balanced').fit(X_train, Y_train) 

有关更多选项，请查看专用的不平衡学习Python 库（ scikit-learn-contrib项目的一部分）。