lapply 比硬编码慢

Question

我有一个相当大的df

library(data.table)

# nrows
x <- 1e7

# data
df <- data.table(group = sample(letters[1:2], x, replace=T)
                 , user = sample(1:x, x, replace=T)
                 , price = sample(1:3, x, replace=T)
                 , quantity = sample(1:3, x, replace=T)
                 ); df

      group    user price quantity
   1:     a 8286968     1        3
   2:     b 8652340     1        3
   3:     a 7388954     1        1
   4:     b 6932335     3        3
   5:     a 1468016     1        2

这是硬编码方法的时间：

# hardcode
system.time(
df[, .(price = sum(price), quantity = sum(quantity))
    , .(user, group)
    ][, .(mean_price = mean( price ), mean_quantity = mean(quantity))
      , .(group)
      ]
)

   user  system elapsed 
   2.77    0.28    1.41 

与lapply ：

# lapply
x <- c('price', 'quantity')

system.time(
df[, lapply(.SD, \(i) sum(i))
   , .SDcols = x
   , .(user, group)
   ][, lapply(.SD, \(i) mean(i))
     , .SDcols = x
     , .(group)
     ]
)

   user  system elapsed 
  18.86    0.10   17.86 

运行时间差异大的原因可能是什么？

Answer 1

这是因为由于 lambda 函数\(i) sum(i)和\(i) mean(i)而没有使用data.table对mean和sum的内部优化：

base::mean 函数在内部进行了优化以使用 data.table 的 fastmean 函数。 来自 base 的 mean() 是 S3 通用的，并且在许多组中变得很慢。

lapply不会导致问题，因为它也得到了优化：

表达式 dt[, lapply(.SD, fun), by=.] 被优化为 dt[, list(fun(a), fun(b), ...), by=.] 其中 a,b, . .. 是 .SD 中的列。 这极大地提高了性能。

system.time(
  df[, lapply(.SD, sum)
     , .SDcols = x
     , .(user, group)
  ][, lapply(.SD,  mean)
    , .SDcols = x
    , .(group)
  ]
)

   user  system elapsed 
   2.58    0.39    1.45