我使用以下命令将大数据文件读入R中
data <- as.data.set(spss.system.file(paste(path, file, sep = '/')))
数据集包含不属于的列,仅包含空格。 此问题与R根据附加到SPSS文件( 源 )的变量标签创建新变量有关。
不幸的是,我无法确定解决问题所需的选项。 我已经尝试了所有:foreign :: read.spss,memisc:spss.system.file和Hemisc :: spss.get,没有运气。
相反,我想读取整个数据集(使用ghost列)并手动删除不必要的变量。 由于ghost列只包含空格,我想从我的data.table中删除任何变量,其中唯一观察的数量等于1。
我的数据很大,因此它们以data.table格式存储。 我想确定一种简单的方法来检查每列中唯一观察的数量,并删除仅包含一个唯一观察的列。
require(data.table)
### Create a data.table
dt <- data.table(a = 1:10,
b = letters[1:10],
c = rep(1, times = 10))
### Create a comparable data.frame
df <- data.frame(dt)
### Expected result
unique(dt$a)
### Expected result
length(unique(dt$a))
但是,我希望计算大型数据文件的obs数,因此不希望按名称引用每一列。 我不是eval(parse())的粉丝。
### I want to determine the number of unique obs in
# each variable, for a large list of vars
lapply(names(df), function(x) {
length(unique(df[, x]))
})
### Unexpected result
length(unique(dt[, 'a', with = F])) # Returns 1
在我看来问题是这样的
dt[, 'a', with = F]
返回类“data.table”的对象。 这个对象的长度是1是有道理的,因为它是一个包含1个变量的data.table。 我们知道data.frames实际上只是变量列表,所以在这种情况下,列表的长度只有1。
这是使用data.frame方式解决方案的伪代码:
for (x in names(data)) {
unique.obs <- length(unique(data[, x]))
if (unique.obs == 1) {
data[, x] <- NULL
}
}
关于如何更有效地询问data.table中列的独特观察数量的任何见解将非常感激。 或者,如果您可以建议如果在数据中只有一个独特的观察结果,那么如何删除观察结果。表格会更好。