删除行ff包

Question

一段时间以来我一直在使用ff包来处理大数据。 我使用的R对象有大约130,000,000行和14列。 其中两个列，温度和降水值缺少值“NA”，因此我需要删除这些行以便继续我的工作。 我一直试图像在普通的R对象中那样做：

data<-data[!is.na(data$temp),]

但我一直收到一个错误：

Error: vmode(index) == "integer" is not TRUE

有没有人能够删除ffdf对象中的行？ 我很感激任何帮助。

Answer 1

在ff中无法基于逻辑ff_vector建立索引，您需要提供ff整数的向量。 这就是错误消息试图告诉您的内容。 所以你可以这样做子集

require(ffbase)
idx <- !is.na(data$temp)
idx <- ffwhich(idx, idx == TRUE)
data <- data[idx, ]

或（使用ffbase的6.3版本）

require(ffbase)
data <- subset(data, !is.na(temp))