在 R 中仅从过去找到 k 个最近邻居的快速方法？

Question

假设我有一个包含 10,000 行和 8 列的数字数据。 我想使用欧几里德距离获得每一行的前 k 个邻居（跳过前 1,000 行），但问题是每一行我只对前几行感兴趣。 （例如，对于第 2001 行，我只搜索前 2000 行）。

更改每一行的引用太慢了。 我能写的最快的 function 是使用 RANN 获取 2k（或 5k）个最近的邻居，然后过滤掉未来的观察结果。

一个缓慢的例子：（200 行，5 列，3 个最近的邻居）

data = matrix(rnorm(1000), nrow = 200, ncol = 5)
result <- list()
for (i in c(101:200)) {
    distances <- apply(data[1:(i-1),], 1, function(x) {
        dist(rbind(x, data[i, ]))
    })
    neighbors <- sort(distances, index.return = TRUE)$ix[1:3]
    result[[i - 100]] <- neighbors
}

最快的方法是使用RANN::nn2(data = data[1:200,], query = data[101:200,], k = 2*k) ，然后过滤未来的（并希望至少有 k值）。

最近邻的过滤部分和不必要的计算显着增加了时间复杂度。

我很乐意听到任何建议。

Answer 1

使用RANN::nn2的解决方案。 这个想法是将数据分成块并在合并结果之前分别处理每个块。 它可以在几分之一秒内处理一个 10k×8 的矩阵。

library(RANN) # for the nn2 function
library(Rfast) # for the rowOrder function
library(data.table) # for the rbindlist function

nr <- 1e4L
start <- 1001L
nc <- 8L
k <- 3L
data <- matrix(rnorm(nr*nc), nr, nc)

system.time({
  n <- 450L # chunk size
  n1 <- n - 1L
  
  nn1 <- rbindlist(
    lapply(
      # split the data into chunks
      as.data.frame(matrix(start:nr, n)),
      function(i) {
        # initialize a matrix with -Inf
        d <- matrix(Inf, n1, n1)
        # fill the lower diagonal of m with the negative of the distance matrix
        d[sequence(n1:1, seq(1, n1^2, n))] <- dist(data[i,])
        # get the nearest neighbor from previous chunks
        nn <- nn2(data[1:(i[1] - 1L),], data[i,], k)
        # bind the two distance matrices together
        out <- rowOrder(cbind(nn$nn.dists, rbind(Inf, d)))[,1:k]
        # which neighbors are from a previous chunk?
        iPrev <- which(out <= k)
        # indices of nearest neighbors from a previous chunk
        out[iPrev] <- nn$nn.idx[cbind(((iPrev - 1L) %% n) + 1L, out[iPrev])]
        # indices of nearest neighbors from current chunk
        out[-iPrev] <- out[-iPrev] - k + i[1] - 1L
        # convert to a data.table in order to use rbindlist
        as.data.table(out)
      }
    ), FALSE
  )
})
#>    user  system elapsed 
#>    0.46    0.00    0.47

将结果与过滤方法进行比较。 请注意，下面的代码不能保证找到最近的前一个邻居，但可以修改它以迭代地增加k对于失败的行。

system.time({
  nn2 <- with(
    # get the 100 nearest neighbors
    nn2(data, data[start:nr,], 100),
    # find the nearest from a previous row
    matrix(nn.idx[cbind(1:nrow(nn.idx), c(rowOrder(1 - (nn.idx < start:nr), TRUE)[,1:k]))], ncol = k)
  )
})
#>    user  system elapsed 
#>    1.31    0.00    1.31

identical(unlist(nn1, 0, 0), c(nn2))
#> [1] TRUE