如何计算大型矩阵的行方差？

Question

我在 R 中有一个非常大的稀疏矩阵：

> dim(matrix)
[1] 60675 36807

现在，我想像这样计算这个矩阵的行方差：

apply(matrix,1,var)
Error in asMethod(object) : 
    Cholmod error 'problem too large' at file ../Core/cholmod_dense.c, line 102

我想我的矩阵太大而无法正常工作。 我的解决方案是对这个问题使用多个内核，如下所示：

mclapply(Matrix::t(matrix), var, mc.cores=16)
Error in asMethod(object) : 
    Cholmod error 'problem too large' at file ../Core/cholmod_dense.c, line 102    

但是正如您所看到的，我再次遇到相同的错误。 你对如何处理这个问题有什么建议吗？ 也许对矩阵进行子集化，然后计算方差？

Answer 1

例子：

library(Matrix)
d <- Matrix(0, nrow=60675, ncol=36087)
d[5,5] <- 1

不幸的是，这不起作用：

library(matrixStats)
v <- rowVars(d)

rowVars(d) 中的错误：参数“x”必须是矩阵或向量。

但是我们可以通过蛮力来做到：

v <- numeric(nrow(d))
for (i in seq(nrow(d))) {if (i %% 250 == 0) cat("."); v[i] <- var(d[i,]) }

这很慢（在旧的 MacOS 桌面上大约 60 秒）但有效。 并行化有助于：

library(parallel)
f <- function(i) var(d[i,])
v <- unlist(mclapply(seq(nrow(d)), f, mc.cores = 4))

（22 秒过去了）。

Answer 2

Bioconductor 上的sparseMatrixStats包为Matrix对象实现了matrixStats API；

# BiocManager::install("sparseMatrixStats")
library(sparseMatrixStats)

mat <- matrix(0, nrow=10, ncol=6)
mat[sample(seq_len(60), 4)] <- 1:4
sparse_mat <- as(mat, "dgCMatrix")
class(sparse_mat)
#> [1] "dgCMatrix"
#> attr(,"package")
#> [1] "Matrix"

rowVars(sparse_mat)
#> [1] 0.0000000 0.1666667 1.5000000 0.0000000 0.0000000 0.0000000 0.0000000
#> [8] 0.0000000 2.8000000 0.0000000