如何并行化combn（）？

Question

函数combn（）一次生成m个x元素的所有组合。 对于nCm小（其中n是x的元素数），这是非常快速而高效的，但是很快就会耗尽内存。 例如：

> combn(c(1:50), 12, simplify = TRUE)
Error in matrix(r, nrow = len.r, ncol = count) : 
invalid 'ncol' value (too large or NA)

我想知道是否可以修改功能combn（）使其仅生成k个选定的组合。 我们将此新函数称为selectedcombn（）。 然后我们将有：

> combn(c("a", "b", "c", "d"), m=2)
     [,1] [,2] [,3] [,4] [,5] [,6]
 [1,] "a"  "a"  "a"  "b"  "b"  "c" 
 [2,] "b"  "c"  "d"  "c"  "d"  "d" 

>chosencombn(c("a", "b", "c", "d"), m=2, i=c(1,4,6))
     [,1] [,2] [,3]
 [1,] "a"  "b"  "c" 
 [2,] "b"  "c"  "d"

>chosencombn(c("a", "b", "c", "d"), m=2, i=c(4,5))
     [,1] [,2]
 [1,] "b"  "b" 
 [2,] "c"  "d" 

我知道这样的功能将需要使用组合的排序，以便人们可以立即找到给定组合的位置。 是否存在这样的顺序？ 是否可以对其进行编码以获得与combn（）一样有效的功能？

Answer 1

为了了解一下combn如何combn其输出，让我们看一下combn(1:5, 3)的输出：

combn(1:5, 3)
#      [,1] [,2] [,3] [,4] [,5] [,6] [,7] [,8] [,9] [,10]
# [1,]    1    1    1    1    1    1    2    2    2     3
# [2,]    2    2    2    3    3    4    3    3    4     4
# [3,]    3    4    5    4    5    5    4    5    5     5

这里有很多结构。 首先，当您向下移动时，所有列都是有序的，而第一行是不递减的。 以1开头的列在其下方具有combn(2:5, 2) ； 以2开头的列在其下方有combn(3:5, 2) ； 等等。

现在让我们考虑如何构造第8列。我将采用的重建方法是确定该列的第一个元素（由于上面的关系，存在choose(4, 2)=6列从1开始的问题，请choose(3, 2)=3列以2开头，并且choose(2, 2)=1列以3开头。 在本例中，我们确定我们以2开头，因为第7-9列必须以2开头。

为了确定该列的第二个和后续元素，我们使用较少数量的元素（由于2是我们的第一个元素，因此现在从3-5个元素中进行选择）重复此过程，因此需要一个新的位置（我们选择列数字8-6 = 2（以2开头），以及要选择的新剩余元素数（我们需要再增加3-1 = 2个元素）。

下面的getcombn是一个迭代公式，它可以完成此任务：

getcombn <- function(x, m, pos) {
  combo <- rep(NA, m)
  start <- 1
  for (i in seq_len(m-1)) {
    end.pos <- cumsum(choose((length(x)-start):(m-i), m-i))
    selection <- which.max(end.pos >= pos)
    start <- start + selection
    combo[i] <- x[start - 1]
    pos <- pos - c(0, end.pos)[selection]
  }
  combo[m] <- x[start + pos - 1]
  combo
}

chosencombn <- function(x, m, all.pos) {
  sapply(all.pos, function(pos) getcombn(x, m, pos))
}
chosencombn(c("a", "b", "c", "d"), 2, c(1,4,6))
#     [,1] [,2] [,3]
# [1,] "a"  "b"  "c" 
# [2,] "b"  "c"  "d" 
chosencombn(c("a", "b", "c", "d"), 2, c(4,5))
#     [,1] [,2]
# [1,] "b"  "b" 
# [2,] "c"  "d" 

这样就可以在无法枚举所有组合的情况下计算特定的列（这将耗尽内存）。 例如，有50个选项，选择25个元素的方式数是14位数字，因此枚举所有组合可能不是一个选择。 不过，您可以计算指定的特定组合：

chosencombn(1:50, 25, c(1, 1000000L, 1e14))
#       [,1] [,2] [,3]
#  [1,]    1    1    3
#  [2,]    2    2    4
#  [3,]    3    3    6
#  [4,]    4    4    7
#  [5,]    5    5    8
#  [6,]    6    6   11
#  [7,]    7    7   14
#  [8,]    8    8   15
#  [9,]    9    9   17
# [10,]   10   10   20
# [11,]   11   11   22
# [12,]   12   12   25
# [13,]   13   13   27
# [14,]   14   14   30
# [15,]   15   15   31
# [16,]   16   16   32
# [17,]   17   17   33
# [18,]   18   18   36
# [19,]   19   20   37
# [20,]   20   23   39
# [21,]   21   27   40
# [22,]   22   39   42
# [23,]   23   42   47
# [24,]   24   45   48
# [25,]   25   49   50

Answer 2

软件包“ trotter”对此有用，因为它不会将排列保留在内存中。

library(trotter)

combs = cpv(2, c("a", "b", "c", "d"))
sapply(c(1, 4, 6), function(i) combs[i])
#     [,1] [,2] [,3]
#[1,] "a"  "b"  "c" 
#[2,] "b"  "c"  "d"