[英]R - Efficient way to test whether a pair of vectors is disjoint
我想知道两个向量是否有任何共同的元素。 我不在乎元素是什么,有多少共同元素,或者它们在任一向量中的位置。 我只需要一个简单、高效的函数
EIC(vec1, vec2)<\/code>如果
vec1<\/code>和
vec2<\/code>都存在某些元素,则返回 TRUE,如果两者都没有共同的元素,则返回 FALSE。
我们也可以假设
vec1<\/code>和
vec2<\/code>包含
NA<\/code> ,但其中任何一个都可能有重复的值。
我想了五种方法来做到这一点,但它们似乎都效率低下:
EIC.1 <- function(vec1, vec2) length(intersect(vec1, vec2)) > 0
# I want a function that will stop when it finds the first
# common element between the vectors, and return TRUE. The
# intersect function will continue on and check whether there are
# any other common elements.
EIC.2 <- function(vec1, vec2) any(vec1 %in% vec2)
EIC.3 <- function(vec1, vec2) any(!is.na(match(vec1, vec2)))
# the match function goes to the trouble of finding the position
# of all matches; I don't need the position but just want to know
# if any exist
EIC.4 <- function(vec1, vec2) {
uvec1 <- unique(vec1)
uvec2 <- unique(vec2)
length(unique(c(uvec1, uvec2))) < length(uvec1) + length(uvec2)
}
EIC.5 <- function(vec1, vec2) !!anyDuplicated(c(unique(vec1), unique(vec2)))
# per https://stackoverflow.com/questions/5263498/how-to-test-whether-a-vector-contains-repetitive-elements#comment5931428_5263593
# I suspect this is the most efficient of the five, because
# anyDuplicated will stop looking when it comes to the first one,
# but I'm not sure about using !! to coerce to boolean type
不是真正的答案,只是一些评论:
EIC.1、EIC.2 和 EIC.3 在某些时候都使用match()<\/code> :
<\/li>
EIC.2 使用%in%<\/code> ,因此非常接近 EIC.3
<\/li><\/ul> `%in%` <- function (x, table) match(x, table, nomatch = 0L) > 0L<\/code><\/pre> 在某些情况下,您可以节省一些时间:
因为否定!<\/code>
在标量而不是大小为长度(vec1)的向量上执行。
您需要的是一个 C\/C++ 函数,它与match<\/code>内部函数执行完全相同的操作,但在第一个nomatch<\/code>处停止。
你可以看看 mach5 C 函数: https<\/a> :\/\/github.com\/wch\/r-source\/blob\/d1f8ef492464fd68320be9581bde4b09eadc03d6\/src\/main\/unique.c#L1332
我测试了我在问题中列出的五个函数(如@ r2evans建议的那样)。 我使用了五个不同的数据集,因为我认为可能存在性能上的差异,这取决于矢量对是多数不相交还是大多数是不相交的。 (事实证明,与EIC.1到EIC.4没有太大区别;对于EIC.5,如果大多数对是不相交的,它会运行得更慢。)
以下是我生成数据集的方法:
n=1400L
a1 <- replicate(n, sample(5000000L, 500L, replace = TRUE), simplify = FALSE)
b1 <- replicate(n, sample(5000000L, 2500L, replace = TRUE), simplify = FALSE)
# two lists of vectors, to be compared pairwise, where about 22% of the pairs have elements in common
a2 <- replicate(n, sample(800000L, 500L, replace = TRUE), simplify = FALSE)
b2 <- replicate(n, sample(800000L, 2500L, replace = TRUE), simplify = FALSE)
# two lists of vectors, to be compared pairwise, where about 79% of the pairs have elements in common
a3 <- replicate(n, sample(3250000L, 1500L, replace = TRUE), simplify = FALSE)
b3 <- replicate(n, sample(3250000L, 1500L, replace = TRUE), simplify = FALSE)
# two lists of vectors, equal in length, to be compared pairwise, where about 50% of the pairs have elements in common
这是我的结果:
library(microbenchmark)
LL <- c(expression(sapply(1:n, function(k) EIC.1(v1[[k]], v2[[k]]))),
expression(sapply(1:n, function(k) EIC.2(v1[[k]], v2[[k]]))),
expression(sapply(1:n, function(k) EIC.3(v1[[k]], v2[[k]]))),
expression(sapply(1:n, function(k) EIC.4(v1[[k]], v2[[k]]))),
expression(sapply(1:n, function(k) EIC.5(v1[[k]], v2[[k]]))) )
v1 <- a1
v2 <- b1
microbenchmark(list=LL)
Unit: milliseconds
expr min lq mean median uq max neval
sapply(1:n, function(k) EIC.1(v1[[k]], v2[[k]])) 110.59374 110.98621 113.5366 112.52576 114.4162 130.0801 100
sapply(1:n, function(k) EIC.2(v1[[k]], v2[[k]])) 97.18203 97.64194 101.4938 99.20129 101.6032 158.8913 100
sapply(1:n, function(k) EIC.3(v1[[k]], v2[[k]])) 96.98262 98.73502 100.5121 99.06029 100.6465 136.2520 100
sapply(1:n, function(k) EIC.4(v1[[k]], v2[[k]])) 255.85385 256.67103 262.0515 258.23332 265.1787 291.9498 100
sapply(1:n, function(k) EIC.5(v1[[k]], v2[[k]])) 230.49910 231.25642 236.2385 233.05208 237.7731 280.7453 100
v1 <- a2
v2 <- b2
microbenchmark(list=LL)
Unit: milliseconds
expr min lq mean median uq max neval
sapply(1:n, function(k) EIC.1(v1[[k]], v2[[k]])) 112.40455 112.78578 114.8205 114.4925 114.9898 126.2302 100
sapply(1:n, function(k) EIC.2(v1[[k]], v2[[k]])) 98.45717 98.87847 101.7272 100.5070 101.0258 134.8737 100
sapply(1:n, function(k) EIC.3(v1[[k]], v2[[k]])) 98.15024 98.59084 101.1340 100.2553 101.2907 131.4896 100
sapply(1:n, function(k) EIC.4(v1[[k]], v2[[k]])) 258.48673 259.18759 264.2449 260.1710 265.2686 307.0624 100
sapply(1:n, function(k) EIC.5(v1[[k]], v2[[k]])) 200.79988 201.52592 205.8434 203.3817 207.2203 244.2715 100
v1 <- a3
v2 <- b3
microbenchmark(list=LL)
Unit: milliseconds
expr min lq mean median uq max neval
sapply(1:n, function(k) EIC.1(v1[[k]], v2[[k]])) 134.0820 134.5529 135.4400 134.6922 135.6203 142.1575 100
sapply(1:n, function(k) EIC.2(v1[[k]], v2[[k]])) 119.7959 120.1119 122.3887 120.2729 122.2338 158.0306 100
sapply(1:n, function(k) EIC.3(v1[[k]], v2[[k]])) 119.7705 120.2145 122.3458 121.9361 122.4224 150.4227 100
sapply(1:n, function(k) EIC.4(v1[[k]], v2[[k]])) 257.0928 259.0730 263.2403 259.6671 263.7227 318.9604 100
sapply(1:n, function(k) EIC.5(v1[[k]], v2[[k]])) 226.4821 227.0798 230.2878 228.4882 231.3292 258.4599 100
v1 <- b1 # the longer vector is now vec1
v2 <- a1
microbenchmark(list=LL)
Unit: milliseconds
expr min lq mean median uq max neval
sapply(1:n, function(k) EIC.1(v1[[k]], v2[[k]])) 199.2799 201.3817 202.5054 201.6378 202.7534 214.8660 100
sapply(1:n, function(k) EIC.2(v1[[k]], v2[[k]])) 187.5226 187.9299 188.9177 188.1184 189.8541 196.1020 100
sapply(1:n, function(k) EIC.3(v1[[k]], v2[[k]])) 187.8891 188.3417 190.5641 190.1809 190.8307 219.4735 100
sapply(1:n, function(k) EIC.4(v1[[k]], v2[[k]])) 255.1007 255.8905 260.1282 256.8316 262.1560 288.4900 100
sapply(1:n, function(k) EIC.5(v1[[k]], v2[[k]])) 237.7409 238.4515 241.5251 239.9415 243.5631 266.5916 100
v1 <- b2
v2 <- a2
microbenchmark(list=LL)
Unit: milliseconds
expr min lq mean median uq max neval
sapply(1:n, function(k) EIC.1(v1[[k]], v2[[k]])) 198.8747 201.2476 202.1573 201.5215 202.3886 207.7772 100
sapply(1:n, function(k) EIC.2(v1[[k]], v2[[k]])) 185.5260 185.7983 187.8099 185.9842 188.3947 225.7553 100
sapply(1:n, function(k) EIC.3(v1[[k]], v2[[k]])) 185.8022 186.1824 188.8937 187.9226 188.6763 221.2442 100
sapply(1:n, function(k) EIC.4(v1[[k]], v2[[k]])) 257.6607 258.5063 262.3677 259.6778 264.6313 304.4813 100
sapply(1:n, function(k) EIC.5(v1[[k]], v2[[k]])) 230.5553 231.3261 233.9914 232.9138 235.0349 260.4950 100
在所有情况下,EIC.2和EIC.3都是最快的(并且非常接近),EIC.1也不甘落后。 但请注意,如果较短的向量是第一个,它们都会更有效。 例如,在vec1
是a1
(长度500)并且vec2
是b1
(长度2500)的情况下,EIC.2的中值为99毫秒。 但是当我切换它们使得vec1
是b1
而vec2
是a1
,EIC.2减慢到188毫秒。 因此,为了提高效率,在调用EIC.2之前,值得检查哪个向量更长。 (或者重写EIC.2,以便它总是%in%
[较长向量]中测试[较短的向量] %in%
。)
我们可以试试table<\/code> +
any<\/code>
EIC.6 <- function(x, y) any(table(c(unique(x), unique(y))) > 1)
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.