R中的平行距离矩阵

Question

目前，我正在使用内置函数dist来计算R中的距离矩阵。

dist(featureVector,method="manhattan")

当前这是应用程序的瓶颈，因此该想法是使该任务并行化（从概念上讲应该可行）

搜索谷歌和这个论坛没有成功。

有人有主意吗？

Answer 1

R软件包amap为聚类和主成分分析提供了强大且并行的功能。 在这些函数中， Dist方法可提供您所需要的功能：以并行方式计算并返回距离矩阵。

Dist(x, method = "euclidean", nbproc = 8)

上面的代码使用8个线程计算欧几里得距离。

Answer 2

这是您可以走的一条路线的结构。 它不仅比使用dist()函数要快，而且要花很多倍的时间。 它确实可以并行处理，但是即使将计算时间减少到零，启动函数并将变量导出到群集的时间也可能比仅使用dist()

library(parallel)

vec.array <- matrix(rnorm(2000 * 100), nrow = 2000, ncol = 100)

TaxiDistFun <- function(one.vec, whole.matrix) {
    diff.matrix <- t(t(whole.matrix) - one.vec)
    this.row <- apply(diff.matrix, 1, function(x) sum(abs(x)))
    return(this.row)
}

cl <- makeCluster(detectCores())
clusterExport(cl, list("vec.array", "TaxiDistFun"))

system.time(dist.array <- parRapply(cl, vec.array,
                        function(x) TaxiDistFun(x, vec.array)))

stopCluster(cl)

dim(dist.array) <- c(2000, 2000)

Answer 3

您还可以使用parallelDist包的parDist函数，该函数专门为并行化距离矩阵计算而构建。 优点是该软件包可在Mac OS，Windows和Linux上使用，并且已经支持39种不同的距离度量（请参阅parDist ）。

曼哈顿距离的性能比较（系统规格：Mac OS；具有2,5 GHz并具有超线程功能的4核的Intel Core i7）：

library(parallelDist)
library(amap)
library(wordspace)
library(microbenchmark)

set.seed(123)
x <- matrix(rnorm(2000 * 100), nrow = 2000, ncol = 100)

microbenchmark(parDist(x, method = "manhattan"),
               Dist(x, method = "manhattan", nbproc = 8),
               dist.matrix(x, method = "manhattan"),
               times = 10)

Unit: milliseconds
                                      expr      min       lq     mean   median       uq      max neval
          parDist(x, method = "manhattan") 210.9478 214.3557 225.5894 221.3705 237.9829 247.0844    10
 Dist(x, method = "manhattan", nbproc = 8) 749.9397 755.7351 797.6349 812.6109 824.4075 844.1090    10
      dist.matrix(x, method = "manhattan") 256.0831 263.3273 279.0864 275.1882 296.3256 311.3821    10

使用更大的矩阵：

x <- matrix(rnorm(10000 * 100), nrow = 10000, ncol = 100)
microbenchmark(parDist(x, method = "manhattan"),
+                Dist(x, method = "manhattan", nbproc = 8),
+                dist.matrix(x, method = "manhattan"),
+                times = 10)
Unit: seconds
                                      expr       min        lq      mean    median        uq       max neval
          parDist(x, method = "manhattan")  6.298234  6.388501  6.737168  6.894203  6.947981  7.221661    10
 Dist(x, method = "manhattan", nbproc = 8) 22.722947 24.113681 24.326157 24.477034 24.658145 25.301353    10
      dist.matrix(x, method = "manhattan")  7.156861  7.505229  7.544352  7.567980  7.655624  7.800530    10

可以在parallelDist的插图中找到进一步的性能比较。

Answer 4

我是Windows用户，正在寻找一种有效的方法来计算距离矩阵，以便在分层聚类中使用该距离矩阵（例如，使用“ stats”包中的hclust函数）。 函数Dist在Windows中不能并行工作，因此我不得不寻找不同的东西，并且我发现了Stefan Evert的“ wordspace”包 ，其中包含dist.matrix函数。 您可以尝试以下代码：

X <- data.frame(replicate(1000,sample(0:1,5000,rep=TRUE)))
system.time(d <- dist(X, method = "manhattan"))
system.time(d2 <- as.dist( dist.matrix(as.matrix(X), method="manhattan") ))

如您所见，使用dist.matrix计算具有1000个二进制特征和5000个实例的数据帧的距离矩阵要快得多

这些是我的笔记本电脑（i7-6500U）中的结果：

> system.time(d <- dist(X, method = "manhattan"))
   user  system elapsed 
 151.79    0.04  152.59 
> system.time(d2 <- as.dist( dist.matrix(as.matrix(X), method="manhattan") ))
   user  system elapsed 
  19.19    0.22   19.56 

这解决了我的问题。 在这里您可以检查我在哪里找到的原始线程： http : //r.789695.n4.nabble.com/Efficient-distance-calculation-on-big-matrix-td4633598.html

它不能并行解决，但在很多情况下就足够了。

Answer 5

我也在处理较大距离的矩阵，并试图加快计算速度。 上面的Will Benson说“启动函数并将变量导出到群集的时间可能比仅仅使用更长的时间”可能是正确的。

但是，我认为这适用于小到中等大小的距离矩阵。 请参见下面的示例，该示例使用具有10个处理器的软件包amap中的 Dist函数，与软件包stats的 dist和与package 字段的 rdist ，后者调用了Fortran函数。 第一个示例创建一个400 x 400的距离矩阵。 第二个创建3103 x 3103距离矩阵。

require(sp)
require(fields)
require(amap)
data(meuse.grid)
meuse.gridA <- meuse.grid[1:400, 1:2]
meuse.gridB <- meuse.grid[, 1:2]

# small distance matrix
a <- Sys.time()
invisible(dist(meuse.gridA, diag = TRUE, upper = TRUE))
Sys.time() - a
Time difference of 0.002138376 secs
a <- Sys.time()
invisible(Dist(meuse.gridA, nbproc = 10, diag = TRUE, upper = TRUE))
Sys.time() - a
Time difference of 0.005409241 secs
a <- Sys.time()
invisible(rdist(meuse.gridA))
Sys.time() - a
Time difference of 0.02312016 secs

# large distance matrix
a <- Sys.time()
invisible(dist(meuse.gridB, diag = TRUE, upper = TRUE))
Sys.time() - a
Time difference of 0.09845328 secs
a <- Sys.time()
invisible(Dist(meuse.gridB, nbproc = 10, diag = TRUE, upper = TRUE))
Sys.time() - a
Time difference of 0.05900002 secs
a <- Sys.time()
invisible(rdist(meuse.gridB))
Sys.time() - a
Time difference of 0.8928168 secs

请注意，当距离矩阵较大（3103 x 3103）时，与dist相比，使用Dist的计算时间如何从0.09845328秒减少到0.05900002秒。 因此，我建议您使用amap包中的Dist函数，前提是您有几个可用的处理器。

Answer 6

我发现在Microsoft R Open 3.4.0下的Mac上，parallelDist比dist快几个数量级，并且在此过程中消耗更少的虚拟内存。 不过要警告一下-我在R 3.3.3上编译它并不幸运。 它没有将R的版本列为依赖项，但我怀疑是这样。