两种算法在FP和FN速率上的差异

Question

我在使用和不使用PCA的情况下使用逻辑回归进行二进制分类。 与仅进行逻辑回归相比，在逻辑回归之前应用PCA可以提供更高的准确性和更低的FN。 我想弄清楚为什么会这样，特别是为什么PCA产生更少的FN。 我已经读过，成本敏感性分析可以帮助解释这一点，但是我不确定这是否正确。 有什么建议么？

Answer 1

不需要花哨的分析来解释此行为。

PCA仅用于通过限制其方差来“清除”数据。 让我通过一个例子来解释这个概念，然后再回到您的问题上。

通常，在任何ML问题中，可用样本的数量永远不足以覆盖所有可能的样本空间变化。 您永远不可能拥有包含所有可能的人脸，所有可能的表情等的数据集。

因此，与其使用所有可用功能，不如通过设计功能（在本例中为像素）来获得更有意义的高级功能。 例如，您可以降低图片的分辨率。 您将松散图片背景上的信息，但是您的模型将更好地关注图片中最重要的部分，即脸部。

当处理表格数据时，类似于降低分辨率的技术会切断部分原始功能，而PCA正是这样做的：它保留了功能中最重要的组成部分，即“主要组件”，而删除了次要的重要组成部分。 。

因此，使用PCA训练的模型可以提供更好的结果，因为通过切除部分功能，您的模型可以更好地关注样本中最重要的部分，从而获得了针对过度拟合的鲁棒性。

干杯