我使用以下命令将大数据文件读入R中

data <- as.data.set(spss.system.file(paste(path, file, sep = '/')))

数据集包含不属于的列,仅包含空格。 此问题与R根据附加到SPSS文件( )的变量标签创建新变量有关。

不幸的是,我无法确定解决问题所需的选项。 我已经尝试了所有:foreign :: read.spss,memisc:spss.system.file和Hemisc :: spss.get,没有运气。

相反,我想读取整个数据集(使用ghost列)并手动删除不必要的变量。 由于ghost列只包含空格,我想从我的data.table中删除任何变量,其中唯一观察的数量等于1。

我的数据很大,因此它们以data.table格式存储。 我想确定一种简单的方法来检查每列中唯一观察的数量,并删除仅包含一个唯一观察的列。

require(data.table)

### Create a data.table
dt <- data.table(a = 1:10,
                 b = letters[1:10],
                 c = rep(1, times = 10))

### Create a comparable data.frame
df <- data.frame(dt)

### Expected result
unique(dt$a)

### Expected result
length(unique(dt$a))

但是,我希望计算大型数据文件的obs数,因此不希望按名称引用每一列。 我不是eval(parse())的粉丝。

### I want to determine the number of unique obs in
  # each variable, for a large list of vars
lapply(names(df), function(x) {
    length(unique(df[, x]))
})

### Unexpected result
length(unique(dt[, 'a', with = F]))  # Returns 1

在我看来问题是这样的

dt[, 'a', with = F]

返回类“data.table”的对象。 这个对象的长度是1是有道理的,因为它是一个包含1个变量的data.table。 我们知道data.frames实际上只是变量列表,所以在这种情况下,列表的长度只有1。

这是使用data.frame方式解决方案的伪代码:

for (x in names(data)) {
  unique.obs <- length(unique(data[, x]))
  if (unique.obs == 1) {
    data[, x] <- NULL
  }
}

关于如何更有效地询问data.table中列的独特观察数量的任何见解将非常感激。 或者,如果您可以建议如果在数据中只有一个独特的观察结果,那么如何删除观察结果。表格会更好。

===============>>#1 票数:9 已采纳

更新: uniqueN

从版本1.9.6开始,该解决方案的内置(优化)版本是uniqueN功能。 现在这很简单:

dt[ , lapply(.SD, uniqueN)]

如果要在每列中找到唯一值的数量,例如

 dt[, lapply(.SD, function(x) length(unique(x)))]
##     a  b c
## 1: 10 10 1

要使你的函数工作,你需要在[.data.table使用with=FALSE ,或者只是使用[[而不是(读fortune(312) ......)

lapply(names(df) function(x) length(unique(dt[, x, with = FALSE])))

要么

 lapply(names(df) function(x) length(unique(dt[[x]])))

将工作

一步到位

dt[,names(dt) := lapply(.SD, function(x) if(length(unique(x)) ==1) {return(NULL)} else{return(x)})]


 # or to avoid calling `.SD` 

dt[, Filter(names(dt), f = function(x) length(unique(dt[[x]]))==1) := NULL]

===============>>#2 票数:3

其他答案中的方法很好。 另一种添加到混音中的方法,只是为了好玩:

for (i in names(DT)) if (length(unique(DT[[i]]))==1) DT[,(i):=NULL]

或者如果列名可能重复:

for (i in ncol(DT):1) if (length(unique(DT[[i]]))==1) DT[,(i):=NULL]

注意: (i)在LHS上:=是使用i的值而不是名为"i"的列的技巧。

===============>>#3 票数:1

这是你的核心问题的解决方案(我希望我做对了)。

require(data.table)

### Create a data.table
dt <- data.table(a = 1:10,
                 b = letters[1:10],
                 d1 = "",
                 c = rep(1, times = 10),
                 d2 = "")
dt
     a b d1 c d2
 1:  1 a    1   
 2:  2 b    1   
 3:  3 c    1   
 4:  4 d    1   
 5:  5 e    1   
 6:  6 f    1   
 7:  7 g    1   
 8:  8 h    1   
 9:  9 i    1   
10: 10 j    1   

首先,我介绍两个没有任何值的d1d2列。 那些你要删除的,对吧? 如果是这样,我只需识别这些列并选择dt中的所有其他列。

only_space <- function(x) {
  length(unique(x))==1 && x[1]==""
}
bolCols <- apply(dt, 2, only_space)
dt[, (1:ncol(dt))[!bolCols], with=FALSE]

不知何故,我觉得你可以进一步简化它......

输出:

     a b c
 1:  1 a 1
 2:  2 b 1
 3:  3 c 1
 4:  4 d 1
 5:  5 e 1
 6:  6 f 1
 7:  7 g 1
 8:  8 h 1
 9:  9 i 1
10: 10 j 1

===============>>#4 票数:0

有一种简单的方法可以使用“dplyr”库,然后使用select函数如下:

库(dplyr)

newdata < - select(old_data,第一个变量,第二个变量)

请注意,您可以根据需要选择任意数量的变量。

然后,您将获得所需的数据类型。

非常感谢,

Fadhah

  ask by Andreas translate from so

未解决问题?本站智能推荐: