k最近邻算法中k的值

Question

我有 7 个需要分类的类，我有 10 个特征。 在这种情况下，我是否需要使用 k 的最佳值，或者我是否必须针对 1 到 10（大约 10）之间的 k 值运行 KNN，并在算法本身的帮助下确定最佳值？

Answer 1

除了文章我张贴在评论中有这一项，以及该建议：

k 的选择非常关键——k 值越小意味着噪声对结果的影响越大。 较大的值使其计算成本高，并且有点违背 KNN 背后的基本原理（靠近的点可能具有相似的密度或类）。选择 k 的简单方法是设置 k = n^(1/2)。

这在很大程度上取决于您的个人情况，有时最好遍历 k 的每个可能值并自己决定。

Answer 2

在 k-NN 算法中需要注意的重要一点是，在 k-NN 算法中，特征的数量和类的数量都不会影响 k 的值。 k-NN 算法是一种用于基于距离度量对测试数据进行分类的 ad-hoc 分类器，即如果与其他类相比，更靠近测试样本的 Class-1 训练样本的数量更多，则将测试样本归类为 Class-1训练样本。 例如：如果 k 的值 = 5 个样本，则根据距离度量选择最接近的 5 个训练样本，然后对每个类别的大多数样本进行投票。 因此，如果 3 个样本属于 Class-1，2 个样本属于 Class-5，则该测试样本被归类为 Class-1。 所以k的值表示对测试样本进行分类所需的训练样本数。

谈到您的问题， k的值是非参数的，选择k值的一般经验法则是k = sqrt(N)/2 ，其中N代表训练数据集中的样本数。 我建议的另一个技巧是尽量保持 k 的值为奇数，这样在选择一个类之间就没有联系，但这表明训练数据在类之间高度相关并使用简单的分类算法，例如 k- NN 会导致分类性能不佳。

Answer 3

在 KNN 中，找到 k 的值并不容易。 k 值较小意味着噪声对结果的影响较大，而较大的值会使计算成本高昂。

数据科学家通常选择：

1.类数为2时为奇数

2.另一种选择k的简单方法是设置k = sqrt(n)。 其中 n = 训练数据中的数据点数。

希望这会帮助你。

Answer 4

您可能想尝试将其作为遍历不同 k 值并将其可视化以帮助您做出决策的一种方法。 我已经多次使用它，它给了我想要的结果：

error_rate = []

for i in range(1,50):
    knn = KNeighborsClassifier(n_neighbors=i)
    knn.fit(X_train, y_train)
    pred = knn.predict(X_test)
    error_rate.append(np.mean(pred != y_test))

plt.figure(figsize=(15,10))
plt.plot(range(1,50),error_rate, marker='o', markersize=9)

Answer 5

没有预定义的统计方法可以找到最有利的 K 值。选择非常小的 K 值会导致决策边界不稳定。 K 的值可以选择为 k = sqrt(n)。 其中 n = 训练数据中的数据点数 奇数优选作为 K 值。

大多数情况下，工业界都遵循以下方法。 初始化一个随机 K 值并开始计算。 导出错误率和 K 之间的图，表示定义范围内的值。 然后选择具有最小错误率的 K 值。 导出精度和 K 之间的图，表示定义范围内的值。 然后选择具有最大精度的 K 值。 尝试在误差曲线和准确度曲线之间找到 K 的折衷值。