分类器非常置信的预测概率

Question

一些背景

我正在研究基于 NLP 假新闻文本的分类。

我使用 sklearn 在以下数据集上训练了一个 SVC 分类器，其中包含假新闻和真实新闻： https://www.kaggle.com/datasets/clmentbisaillon/fake-and-real-news-dataset

我获得了 97.4% 的准确率。 通常，使用相同数据集的其他人也获得了 90% 以上的准确率。 而且我已经在现实生活中的输入（真实新闻文章）上测试了我的 model，并且 model 整体表现相当不错。

下面我绘制了校准曲线，根据我的初学者理解，校准曲线非常好。

我的问题

我如何解释我的分类器几乎所有预测概率都在 1% 或 99% 左右的事实。 对于我提供的任何输入，我似乎从来没有得到更温和的概率，例如 30% 或 60%。 我得到的大多是低于 1% 和高于 99%。

分类器是否对其预测过于自信？

我最初的想法是在我为这个应用程序构建的用户界面上显示这些百分比，以便用户可以了解一条新闻是假的可能性有多大。 但它似乎不再有意义了，因为我只得到 1 和 99 :)