R Data.table 基于大于值的列向量过滤行

Question

我在 data.table 中有一个列名的变量列表，并且想对所有列应用相同的过滤器以子集我的表的行（即给我列表中所有列> = 5的行）

DT = data.table(
  ID = c("b","b","b","a","a","c"),
  a = 1:6,
  b = 7:12,
  c = 13:18
)
> DT
   ID a  b  c
1:  b 1  7 13
2:  b 2  8 14
3:  b 3  9 15
4:  a 4 10 16
5:  a 5 11 17
6:  c 6 12 18

cols= c("a", "b", "c")
DT[.SD >= 5, , .SDcols=cols] # something like this?
   ID a  b  c
1:  a 5 11 17
2:  c 6 12 18

Answer 1

如果我们需要满足所有列的条件，请创建一个逻辑向量list ，然后将其Reduce为单个逻辑向量

DT[DT[, Reduce(`&`, lapply(.SD, `>=`, 5)), .SDcols = cols]]
#   ID a  b  c
#1:  a 5 11 17
#2:  c 6 12 18

---

或使用rowSums的另一个选项

DT[ DT[, rowSums(.SD >= 5) == length(cols), .SDcols = cols]]

注意：这两个选项都是矢量化的并且是有效的

基准

DT1 <- DT[rep(seq_len(nrow(DT)), 1e6)]



system.time(DT1[ DT1[, rowSums(.SD >= 5) == length(cols), .SDcols = cols]])
#   user  system elapsed 
#  0.464   0.127   0.555 

system.time(DT1[DT1[, Reduce(`&`, lapply(.SD, `>=`, 5)), .SDcols = cols]])
#   user  system elapsed 
#  0.134   0.022   0.150 



system.time(DT1[ DT1[, apply(.SD >= 5, 1, all), .SDcols=cols], ])
#     user  system elapsed 
#  6.636   0.087   6.687 

Answer 2

DT[ DT[, apply(.SD >= 5, 1, all), .SDcols=cols], ]
#    ID a  b  c
# 1:  a 5 11 17
# 2:  c 6 12 18

Answer 3

如果您正在查看所有数字列，则可以使用 .SDcols = is.numeric 。 节省一步