使用R使用不同的距离度量实现KNN

Question

我正在研究数据集，以便比较不同距离度量的影响。 我正在使用KNN算法。

R中的KNN算法默认使用欧几里得距离。 所以我写了我自己的。 我想找到最近的邻居和目标之间正确的类标签匹配数。

首先我已经准备好数据。 然后我调用了数据（ wdbc_n ），我选择了K = 1。 我已使用欧几里得距离作为检验。

library(philentropy)
knn <- function(xmat, k,method){
  n <- nrow(xmat)
  if (n <= k) stop("k can not be more than n-1")
  neigh <- matrix(0, nrow = n, ncol = k)
  for(i in 1:n) {
    ddist<- distance(xmat, method)  
    neigh[i, ] <- order(ddist)[2:(k + 1)]
  }
  return(neigh)
}
wdbc_nn <-knn(wdbc_n ,1,method="euclidean")

希望获得与本文类似的结果（“关于高维空间中距离度量的令人惊讶的行为”）（ https://bib.dbvis.de/uploadedFiles/155.pdf ，第431页，表3）。

我的问题是

代码是对还是错？

任何指导我的建议或参考将不胜感激。

编辑

我的数据（乳腺癌-威斯康星州）（wdbc）维度为

569  32

规范化并删除ID和目标列后，尺寸为

dim(wdbc_n)
569  30

训练和测试拆分由

wdbc_train<-wdbc_n[1:469,]
wdbc_test<-wdbc_n[470:569,]

Answer 1

代码是对还是错？

您的代码是错误的。

在我最近使用的PC上，距离函数的调用每次大约花费3秒钟，因此我只对k = 3进行了前30行，并且注意到相邻矩阵的每一行都是相同的。 这是为什么？ 看一下这一行：

ddist<- distance(xmat, method)  

每个循环在距离函数处馈入整个xmat矩阵 ，然后仅使用所得矩阵的第一行。 这将计算训练集行之间的距离，并进行n次，丢弃除第一行以外的所有行。 这不是您想要的。 假设knn算法针对测试集中的每一行计算训练集中每一行的距离。

让我们看一下距离函数的文档：

distance（x，method =“ euclidean”，p = NULL，test.na = TRUE，单位=“ log”，est.prob = NULL）

xa数字data.frame或矩阵（存储概率向量）或数字data.frame或矩阵存储的计数（如果指定了est.prob）。

（......）

在nrow（x）= 2的情况下：单个距离值。 在nrow（x）> 2的情况下：存储所有成对概率矢量比较的距离值的距离矩阵。

在特定情况下（knn分类），您想使用2行版本。

最后一件事：您使用order ，它将返回ddist向量中k个最大距离的位置。 我认为您想要的是距离本身，因此您需要使用sort而不是order 。

根据您的代码和代码似乎基于的Lantz（2013）中的示例，这是一个完整的可行解决方案。 我随意添加几行内容来制作一个独立的程序。

独立的工作解决方案

library(philentropy)
normalize <- function(x) {
 return ((x - min(x)) / (max(x) - min(x)))
}

knn <- function(train, test, k, method){
  n.test <- nrow(test)
  n.train <- nrow(train)
  if (n.train + n.test <= k) stop("k can not be more than n-1")
  neigh <- matrix(0, nrow = n.test, ncol = k) 
  ddist <- NULL
  for(i in 1:n.test) {
    for(j in 1:n.train) {
      xmat <- rbind(test[i,], train[j,]) #we make a 2 row matrix combining the current test and train rows
      ddist[j] <- distance(as.data.frame(xmat), method, k)  #then we calculate the distance and append it to the ddist vector.
    }
    neigh[i, ] <- sort(ddist)[2:(k + 1)] 
  }
  return(neigh)
}

wbcd <- read.csv("https://resources.oreilly.com/examples/9781784393908/raw/ac9fe41596dd42fc3877cfa8ed410dd346c43548/Machine%20Learning%20with%20R,%20Second%20Edition_Code/Chapter%2003/wisc_bc_data.csv")
rownames(wbcd) <- wbcd$id
wbcd$id <- NULL
wbcd_n <- as.data.frame(lapply(wbcd[2:31], normalize))

wbcd_train<-wbcd_n[1:469,]
wbcd_test<-wbcd_n[470:549,]
wbcd_nn <-knn(wbcd_train, wbcd_test ,3, method="euclidean")

请注意，由于对距离函数的多次调用（469的100倍），因此该解决方案的速度可能较慢。 但是，由于我们一次只向距离函数提供2行，因此使执行时间易于管理。

现在行得通吗？

使用自定义knn函数的前两个测试行：

          [,1]      [,2]      [,3]
[1,] 0.3887346 0.4051762 0.4397497
[2,] 0.2518766 0.2758161 0.2790369

让我们与FNN包中的等效函数进行比较：

library(FNN)
alt.class <- get.knnx(wbcd_train, wbcd_test, k=3, algorithm = "brute")
alt.class$nn.dist

          [,1]      [,2]      [,3]
[1,] 0.3815984 0.3887346 0.4051762
[2,] 0.2392102 0.2518766 0.2758161

结论：不要太简陋。