K-最近邻居的“概率”，如分类

Question

我在2D空间中有一小组数据点（大约10个），每个数据点都有一个类别标签。 我希望根据现有数据点标签对新数据点进行分类，并将属于任何特定标签类的“概率”关联起来。

是否适合根据标签将新点标记到最近的邻居（如K-最近邻居，K = 1）？ 为了获得我希望置换所有标签的概率并计算未知点和其余部分的所有最小距离，并找出最小距离小于或等于用于标记它的距离的情况的分数。

谢谢

Answer 1

最近邻方法已经使用贝叶斯定理来估计使用包含所选K点的球中的点的概率。 不需要变换，因为属于每个标签的K点球的点数除以该球中的点总数已经是该标签的后验概率的近似值。 换一种说法：

P（标记| z）= P（z |标记）P（标记）/ P（z）= K（标记）/ K.

这是使用贝叶斯概率规则对使用数据子集估计的估计概率获得的。 特别是，使用：

VP（x）= K / N（这给出了体积V中球点的概率）

P（x）= K / NV（从上面）

P（x =标签）= K（标签）/ N（标签）V（其中K（标签）和N（标签）是给定类别的球的点数和总样本中的点数那个班）

和

P（标签）= N（标签）/ N.

因此，只需选择一个K，计算距离，计算点数，并通过检查他们的标签和重新计数，你将有你的概率。

Answer 2

Roweis在他的出版物邻域成分分析中使用了KNN的概率框架。 这个想法是使用“软”最近邻分类，其中点i使用另一个点j作为其邻居的概率由下式定义：

，

其中d_ij是点i和j之间的欧氏距离。

Answer 3

这种K-最近分类方法没有概率，因为它是判别分类以及SVM。 应该使用postporcess来学习看不见的数据的概率，使用逻辑回归等生成模型。 1.学习K最近分类器2.对距离和距离K最近的平均距离进行逻辑回归验证数据。

检查详细信息LibSVM文章。

Answer 4

对10个中心的距离进行排序; 他们可以
1 5 6 ... - 一个在附近，另一个在远处
1 1 1 5 6 ... - 3附近，其他远
......很多可能性。
你可以将10个距离组合成一个数字，例如1 - （最近/平均值）** p，
但这丢掉了信息。 （不同的力量p使得中心周围的山丘更陡峭或更平坦。）

如果您的中心确实是高斯山脉，请查看多变量核密度估计 。

补充：有数以万计的函数在0和1之间平滑，但这并不能使它们成为某些东西的概率。
“概率”意味着涉及机会，可能性，如同下雨概率;
或者你试图给别人留下深刻印象。

再次添加：scholar.google.com“（单个| 1）最近邻分类器”获得> 300次点击; “k最近邻分类器”得到近3000。
在我看来（非专家），在将k-NN距离映射到标签的10种不同方式中，
每一个可能比其他9个更好 - 对于某些数据，有一些错误测量。
无论如何，您可以尝试询问stats.stackexchange.com ，

Answer 5

答案是：这取决于。

想象一下，你的标签是一个人的姓氏，X，Y坐标代表了人的DNA序列的一些基本特征。 显然，更接近的DNA描述增强了具有相同姓氏的可能性。

现在假设X，Y是该人的工作办公室的纬度/经度。 靠近工作与标签（姓氏）共享无关。

因此，它取决于标签和轴的语义。

HTH！