R（data.table）：使用两个data.tables之间的键变量组合的变量不同值的数量，同时避免大量连接

Question

我有两个大型数据集，它们具有三个共同的变量（ a ， b ， c ）。 第一个数据集包含两个其他变量（ d和e ），而第二个数据集包含一个附加变量（ f ）。 我想知道a 、 d和f的不同组合有多少不同的e值。

最简单的方法是首先合并两个数据集； 然后计算a 、 b 、 d和f的唯一组合的e的不同值的数量。 下面是一个简单的代码示例。

df1 = data.table(a = c(1, 1, 1, 1, 1, 1), 
                 b = c(2, 2, 2, 2, 2, 2),
                 c = c(3, 4, 3, 4, 7, 8),
                 d = c(100, 100, 200, 200, 100, 100),
                 e = c(1000, 1000, 900, 901, 1000, 1000))

df2 = data.table(a = c(1, 1, 1, 1), 
                 b = c(2, 2, 2, 2),
                 c = c(3, 4, 7, 8),
                 f = c(500, 600, 500, 500))

下面的代码将为我们提供所需的 output：

> df_join = df1[df2, on=.(a,b,c), allow.cartesian = TRUE]
> df_join
   a b c   d    e   f
1: 1 2 3 100 1000 500
2: 1 2 3 200  900 500
3: 1 2 4 100 1000 600
4: 1 2 4 200  901 600
5: 1 2 7 100 1000 500
6: 1 2 8 100 1000 500
> df_join[, .(n_e=.N), by=.(a, b, d, f)]
   a b   d   f n_e
1: 1 2 100 500   3
2: 1 2 200 500   1
3: 1 2 100 600   1
4: 1 2 200 600   1

我没有设法用我的真实数据构建 object df_join ，因为它很大（请注意，我在代码中添加了allow.cartesian = TRUE ）。 我收到以下错误：

Error in vecseq(f__, len__, if (allow.cartesian || notjoin || !anyDuplicated(f__,  : 
  Join results in more than 2^31 rows (internal vecseq reached physical limit). Very likely misspecified join. Check for duplicate key values in i each of which join to the same group in x over and over again. If that's ok, try by=.EACHI to run j for each group to avoid the large allocation. Otherwise, please search for this error message in the FAQ, Wiki, Stack Overflow and data.table issue tracker for advice.

我正在尝试提出一个更有效的代码，因为我不需要e的完整列表，而只需要变量a 、 b 、 d和f集合的不同值的数量。 主要挑战是我c需要以某种方式输入代码，因为它是应该用于匹配两个数据集中的行的关键变量之一。 我不确定by=.EACHI是否可以在这里使用。