k最近邻分类器训练样本大小为每个class

Question

有人可以告诉我每个 class 的训练样本大小是否需要相等吗？

我可以接受这种情况吗？

          class1   class2  class3
samples    400      500     300

还是所有班级的样本量都应该相等？

Answer 1

KNN 结果基本上取决于三件事（N 的值除外）：

• 训练数据的密度：每个 class 的样本数量应该大致相同。不需要非常精确，但我认为差异不超过 10%。 否则界限会很模糊。
• 整个训练集的大小：您需要在训练集中有足够多的示例，以便您的 model 可以推广到未知样本。
• 噪声：KNN 本质上对噪声非常敏感，因此您要尽可能避免训练集中出现噪声。

考虑以下示例，您尝试在 2D 空间中学习类似甜甜圈的形状。

通过在你的训练数据中使用不同的密度（假设你在甜甜圈内部的训练样本比外面多），你的决策边界将像下面这样有偏差：

另一方面，如果你的类相对平衡，你会得到一个更精细的决策边界，接近甜甜圈的实际形状：

所以基本上，我会建议尝试平衡您的数据集（只是以某种方式对其进行标准化），并考虑我上面提到的其他 2 个项目，您应该没问题。

如果您必须处理不平衡的训练数据，您还可以考虑使用 WKNN 算法（只是 KNN 的优化）为元素较少的 class 分配更强的权重。

Answer 2

k 最近邻法不依赖于样本大小。 您可以使用示例样本量。 例如，请参阅以下关于 KDD99 数据集和 k 最近邻的论文。 KDD99比您的示例数据集更严重的不平衡数据集。